لماذا مهندس البيانات أهم من عالم البيانات؟
قراءة في صفحات عالم بيانات تائب ، ينقل لكم تجاربه من أرض الميدان ، ويسدي نصائحه ، ولا ينبئك مثل خبير! ..
إليكم حكايته ،،
#علم_البيانات
قراءة في صفحات عالم بيانات تائب ، ينقل لكم تجاربه من أرض الميدان ، ويسدي نصائحه ، ولا ينبئك مثل خبير! ..
إليكم حكايته ،،
#علم_البيانات
دائمًا ما نعتبر علم البيانات "الوظيفة الأكثر جاذبية في القرن الحادي والعشرين". عندما يتعلق الأمر بالتحول من شركة تقليدية إلى شركة تحليلية ، فإن الشركة أو علماء البيانات يتوقعون الغوص في عالم التحليلات الخيالي في أسرع وقت ممكن 😍😍
لكن.. هل هذا هو الحال دائمًا؟ 😕🙄
لكن.. هل هذا هو الحال دائمًا؟ 😕🙄
يقول صاحبنا: بدأنا كفريق تدريب عملي من جامعة كاليفورنيا التعاون مع Hilti ، وهي شركة تصنيع رائدة في أدوات الطاقة ، وفرنا العديد من المخططات مثل أتمتة التسعير وبناء النماذج، كان العمل مع هذه الشركة العظيمة فرصة ثمينة انتظرناها طويلاً لاستغلال مهاراتنا التحليلية لخلق قيمة تجارية
ولكن .. وآه من لكن!
عندما بدأنا في الاستفادة من البيانات ، وجدنا أنه من الصعب علينا الحصول مباشرة على بيانات نظيفة ومنظمة من شركة تقليدية ، مقارنةً بشركة تعتمد على البيانات مثل شركات التجارة الإلكترونية
عندما بدأنا في الاستفادة من البيانات ، وجدنا أنه من الصعب علينا الحصول مباشرة على بيانات نظيفة ومنظمة من شركة تقليدية ، مقارنةً بشركة تعتمد على البيانات مثل شركات التجارة الإلكترونية
يقول: و نظرًا لأنني كنت مسؤولاً بشكل أساسي عن تنظيف البيانات وهندسة المشروع ، فقد شاهدت كيف تم إعاقتنا في التقدم التحليلي بسبب البيانات غير الجاهزة .. نعم كلما حاولنا ان نتقدم اصطدمنا بمشكلة جديدة من مشاكل البيانات 😢
كنا نعمل بشكل مباشر مع القسم المالي ، ولكن من يملك بيانات عمليات التسعير قسم آخر غير القسم الذي نعمل معه ، وهذا ماسبب تأخر اجراءات طلب البيانات والحصول عليها، وقت الحصول على البيانات طويل وطويل جداً
الأدهى والأمر ، بيانات مبيعات Hilti كانت حساسة وكانت الشركة تفتقر إلى طريقة آمنة لنقل البيانات، لذا فإن عمليات تشفير البيانات وإخفاءها تستغرق وقتًا طويلاً عند كل طلب للبيانات
هندسة البيانات في الشركة كانت ضعيفة بل معدومة، مما أدى إلى عدم الاتساق بين العديد من جداول البيانات، وبالكاد يمكننا المضي قدمًا في بناء نموذج أو الحصول على نتيجة قوية. أخيرًا ، تعين علينا التعامل مع أنواع مختلفة من البيانات مثل: CSV ، و JSON ، و SQLite .. تجربة شاقة ومرة
كانت التحديات السابقة بالفعل فرصة جيدة للتعلم لنا كفريق ، بعد حوالي شهرين ، جهزنا جميع البيانات ، وتمت مناقشة كل حالة شاذة وحلها 👏✨✨
حان وقت الحصاد ، والجميع متلهف للغوص في البيانات التي قمنا بإعدادها ، لا تتصورون مدى شوقنا وحماسنا للبدء في تصوير البيانات واستخراج النتائج، ولكن كانت المفاجأة ، سقطنا في الفخ!
حينما بدأنا بالغوص أدركنا ان الأرقام لا تتطابق مع الواقع ، البيانات التي عملنا عليها ناقصة ، اخطأنا حينما ركزنا على الحالات الشاذة والعلاقات ، وأغفلنا النظرة الشمولية للبيانات من ناحية جودتها وكونها كاملة وتمثل الواقع بشكل دقيق .. هذا الدرس لن أنساه أبداً !
الدرس العميق الذي تعلمته من الدراما التي عشناها في هذا المشروع هو أهمية تواجد #مهندس_بيانات ذلك الموظف الذي يعمل في الكواليس هو في الحقيقة مصدر الابتكار والتغيير في الشركات التقليدية
عندما تفكر شركة تقليدية في استغلال بياناتها ، يجب أن يكون الإجراء الأكثر كفاءة وخطوة أولى هو تحسين عملية هندسة البيانات، مهندسي البيانات الجيدين يأسسون خط أنابيب بيانات صحي في الشركة قابل للتطوير مما يسهل على محللي البيانات إجراء التنقيب عن البيانات واستخراج رؤى تقدم قيمة إضافية
مصدر التغريدات اعلاه المقال على الرابط التالي:
kdnuggets.com
kdnuggets.com
جاري تحميل الاقتراحات...