1
في الاعمال بشكل عام اذا حبيت تحل مشكلة و تتوقع حل لها، يسمى predictive model يساعدك على اتخاذ القرار.
يستخدم محللين الاعمال والشركات Framework يبدأ بتعريف المشكلة الى اقتراح حلول لمعالجتها ومن المهارات الي لازم يتقنها المحلل وهو كيف يختار المودل الي يتناسب مع مجال التطبيق.
في الاعمال بشكل عام اذا حبيت تحل مشكلة و تتوقع حل لها، يسمى predictive model يساعدك على اتخاذ القرار.
يستخدم محللين الاعمال والشركات Framework يبدأ بتعريف المشكلة الى اقتراح حلول لمعالجتها ومن المهارات الي لازم يتقنها المحلل وهو كيف يختار المودل الي يتناسب مع مجال التطبيق.
2
بداية تمم تطوير الفريمورك قبل الـDATA MINERS وبعد كدا تم تعميمو واستخدامو خارج مجال تنقيب البيانات وهو CRISP-DM وهو اختصار لـ Cross Industry Standard Process for Data Mining او ما يسمى بـ "Problem Solving Framework” ويتكون من ثلاث خطوات:-
بداية تمم تطوير الفريمورك قبل الـDATA MINERS وبعد كدا تم تعميمو واستخدامو خارج مجال تنقيب البيانات وهو CRISP-DM وهو اختصار لـ Cross Industry Standard Process for Data Mining او ما يسمى بـ "Problem Solving Framework” ويتكون من ثلاث خطوات:-
3
1-Business Issue Understanding
2-Data Understanding
3-Data Preparation
4-Analysis/Modeling
5-Validation
6-Presentation/Visualization
1-Business Issue Understanding
2-Data Understanding
3-Data Preparation
4-Analysis/Modeling
5-Validation
6-Presentation/Visualization
4
في تحليل الاعمال او الـBusiness بشكل عام السيناريوهات تتمحور في:-
1-Data analysis
2-Predictive analysis
تحليل البيانات:هو الطريقة التقليدية الي تكون خليط بين الإحصاء والتقارير تساعدك في اجابة الأسئلة وفهم قاعدة البيانات الموجودة، مثلا كم عدد الطلاب الناجحين في مادة معينة.
في تحليل الاعمال او الـBusiness بشكل عام السيناريوهات تتمحور في:-
1-Data analysis
2-Predictive analysis
تحليل البيانات:هو الطريقة التقليدية الي تكون خليط بين الإحصاء والتقارير تساعدك في اجابة الأسئلة وفهم قاعدة البيانات الموجودة، مثلا كم عدد الطلاب الناجحين في مادة معينة.
5
التحليل التوقعي او الـpredictive analysis : يقصد به توقع المستقبل بناء على بيانات موجودة زي مثلا توقع نتائج الطلاب بناء على تحصيلهم العلمي في الفترة الحالية.
وهنا رسمة تلخص المفهومين ومتى نستخدم كل وحدة فيهم
التحليل التوقعي او الـpredictive analysis : يقصد به توقع المستقبل بناء على بيانات موجودة زي مثلا توقع نتائج الطلاب بناء على تحصيلهم العلمي في الفترة الحالية.
وهنا رسمة تلخص المفهومين ومتى نستخدم كل وحدة فيهم
6
أول خطوة الي هي Business Issue Understanding تحاول تسأل بعض الأسئلة الي تساعدك على فهم إشكاليات الاعمال في المنشأة
زي مثلا:-
-ايش القرار الي لازم يتخذ
-ايش المعلومات الي احتاجها عشان اتخذ هذا القرار
-ايش نوع التحليل الي راح يتبع ويوصلني لمعلومات تساعدني في اتخاذ هذا القرار
أول خطوة الي هي Business Issue Understanding تحاول تسأل بعض الأسئلة الي تساعدك على فهم إشكاليات الاعمال في المنشأة
زي مثلا:-
-ايش القرار الي لازم يتخذ
-ايش المعلومات الي احتاجها عشان اتخذ هذا القرار
-ايش نوع التحليل الي راح يتبع ويوصلني لمعلومات تساعدني في اتخاذ هذا القرار
7
لازم طبعا يكون عندك تصور ذهني عن طبيعة المشكلة حتى تقدر تجاوب عن هاذي الأسئلة بطريقة أسهل.
على سبيل المثال
تخيل عندك محطة توزيع لشركة كهرباء في جدة وتبغا توصل كهرباء لبيوت المشتركين كم من الطاقة راح تحتاج عشان تغطي احتياج المشتركين في ساعة محددة في أي يوم مستقبلا.
لازم طبعا يكون عندك تصور ذهني عن طبيعة المشكلة حتى تقدر تجاوب عن هاذي الأسئلة بطريقة أسهل.
على سبيل المثال
تخيل عندك محطة توزيع لشركة كهرباء في جدة وتبغا توصل كهرباء لبيوت المشتركين كم من الطاقة راح تحتاج عشان تغطي احتياج المشتركين في ساعة محددة في أي يوم مستقبلا.
8
واستنادا على الـ3 أسئلة الي فوق احنا ندور إجابة على اول سؤال الي هو ايش الحل الي ممكن اتبعو
ولكن التساؤل هذا يطرح أسئلة ثانية زي كيف راح نوصل الطاقة مثلا او نحتاج نتوقع هل عندنا الطاقة الكافية ولا لا لتغطية المشتركين.
واستنادا على الـ3 أسئلة الي فوق احنا ندور إجابة على اول سؤال الي هو ايش الحل الي ممكن اتبعو
ولكن التساؤل هذا يطرح أسئلة ثانية زي كيف راح نوصل الطاقة مثلا او نحتاج نتوقع هل عندنا الطاقة الكافية ولا لا لتغطية المشتركين.
9
استنادا على الأسئلة الـ3 الي طرحناها، ايش المعلومات الي نحتاج نعرفها؟ماهي كمية الطاقة الي نحتاج اننا نوصلها خلال ساعة معينة من اليوم في المستقبل. ولكن هنا بنتكلم عن مستقبل لذلك المعلومة غير متوفرة عشان نأخذ القرارات الي طرحناها في السؤال الأول.
استنادا على الأسئلة الـ3 الي طرحناها، ايش المعلومات الي نحتاج نعرفها؟ماهي كمية الطاقة الي نحتاج اننا نوصلها خلال ساعة معينة من اليوم في المستقبل. ولكن هنا بنتكلم عن مستقبل لذلك المعلومة غير متوفرة عشان نأخذ القرارات الي طرحناها في السؤال الأول.
10
وبالتالي يوضح عندنا ايش دور كلمة Predictive لان القرار قائم على توقع المستقبل بناء على تحليلات حالية وراح تهدف انو توصلنا لأفضل قرار وهنا تتجلى أهمية توافر البيانات حتى تقدر تبدأ في عملية التحليل مو بس عشان تحلل حادثة سابقة ولكن برضو عشان تتوقع افضل القرارات الي ممكن تتخذها.
وبالتالي يوضح عندنا ايش دور كلمة Predictive لان القرار قائم على توقع المستقبل بناء على تحليلات حالية وراح تهدف انو توصلنا لأفضل قرار وهنا تتجلى أهمية توافر البيانات حتى تقدر تبدأ في عملية التحليل مو بس عشان تحلل حادثة سابقة ولكن برضو عشان تتوقع افضل القرارات الي ممكن تتخذها.
11
ثاني خطوة في الفريمورك الي هي Data Understanding وقبل ما تحل أي مشكلة لازم تحدد ايش البيانات الي تحتاجها وايش البيانات المتوفرة، ولو استخدمنا نفس مثال محطة توزيع الكهرباء، ايش البيانات الي تحتاجها مثلا؟ ممكن التاريخ والشهر والاوقات ودرجة الحرارة في هاذي الأوقات.
ثاني خطوة في الفريمورك الي هي Data Understanding وقبل ما تحل أي مشكلة لازم تحدد ايش البيانات الي تحتاجها وايش البيانات المتوفرة، ولو استخدمنا نفس مثال محطة توزيع الكهرباء، ايش البيانات الي تحتاجها مثلا؟ ممكن التاريخ والشهر والاوقات ودرجة الحرارة في هاذي الأوقات.
12
حيجي فبالكم ايش دخل درجة الحرارة؟ هنا نرجع للنقطة الي ذكرناها فوق انو من الجيد انو يكون لك معرفة بالمشكلة والمجال الي جالس تحلل فيه وراح تعرف وقتها ان درجات الحرارة تأثر سلبا وايجابا في جودة وتوصيل الطاقة للمنازل.
حيجي فبالكم ايش دخل درجة الحرارة؟ هنا نرجع للنقطة الي ذكرناها فوق انو من الجيد انو يكون لك معرفة بالمشكلة والمجال الي جالس تحلل فيه وراح تعرف وقتها ان درجات الحرارة تأثر سلبا وايجابا في جودة وتوصيل الطاقة للمنازل.
13
وبالتالي تخيلو اننا جالسين نحاول نتوقع الحمل الي راح يتوزع من المحطة بكرة وبعدو ولكن ما نعرف درجة حرارة بكرة في "وقت معين" ومن هنا راح نحاول اننا نبحث في البيانات الي راح تخلينا نحاول نتوقع درجة الحرارة لكل ساعة اليوم التالي او في المستقبل عموماَ.
وبالتالي تخيلو اننا جالسين نحاول نتوقع الحمل الي راح يتوزع من المحطة بكرة وبعدو ولكن ما نعرف درجة حرارة بكرة في "وقت معين" ومن هنا راح نحاول اننا نبحث في البيانات الي راح تخلينا نحاول نتوقع درجة الحرارة لكل ساعة اليوم التالي او في المستقبل عموماَ.
14
تعتبر هاذي المرحلة هي بداية تجميع البيانات وتبدأ تبحث فيها وتستكشفها الين تفهمها بشكل جيد وتبدأ تركز على الانماط وتعرف المشاكل الموجودة في البيانات الي عندك لأنو نادرا ما راح تلاقي بيانات نظيفة جاهزة للتحليل. وتذكر دائما في خلال هاذي العملية انك تطرح الأسئلة هاذي :-
تعتبر هاذي المرحلة هي بداية تجميع البيانات وتبدأ تبحث فيها وتستكشفها الين تفهمها بشكل جيد وتبدأ تركز على الانماط وتعرف المشاكل الموجودة في البيانات الي عندك لأنو نادرا ما راح تلاقي بيانات نظيفة جاهزة للتحليل. وتذكر دائما في خلال هاذي العملية انك تطرح الأسئلة هاذي :-
15
-What data is needed?
-What data is available?
-What are the important characteristics of the data?
ملاحظة: فيه ثريد مخصص اتكلمت فيه عن استكشاف البيانات راح ارفقو في الأخير.
-What data is needed?
-What data is available?
-What are the important characteristics of the data?
ملاحظة: فيه ثريد مخصص اتكلمت فيه عن استكشاف البيانات راح ارفقو في الأخير.
16
ثالث خطوة في الفريموورك هيData preparationطيب زي ما قللنا سابقا نادرا انك تلاقي بيانات نظيفة وجاهزة للتحليل. فلذلك تنظيف البيانات له عدة خطوات وتختلف بعض العلماء قسموها لـ3 خطوات وبعضهم قسمها لـ5 ولكن كلها تقودك لنفس النتيجة في النهاية الي هي انك تحصل على بيانات جاهزة للتحليل
ثالث خطوة في الفريموورك هيData preparationطيب زي ما قللنا سابقا نادرا انك تلاقي بيانات نظيفة وجاهزة للتحليل. فلذلك تنظيف البيانات له عدة خطوات وتختلف بعض العلماء قسموها لـ3 خطوات وبعضهم قسمها لـ5 ولكن كلها تقودك لنفس النتيجة في النهاية الي هي انك تحصل على بيانات جاهزة للتحليل
17
الخطوات كالتالي:-
-Gathering
-Cleansing
-Formatting
-Blending
-Sampling
الخطوات كالتالي:-
-Gathering
-Cleansing
-Formatting
-Blending
-Sampling
18
في اول خطوة لما تجمع" Gathering " البيانات من المرجح انك راح تجمعها من مصادر مختلفة وبصيغ مختلفة وبعد كدا راح تدخل على مرحلة التنظيف" Cleansing" وكيف راح تتعامل مع البيانات التالفة والخاطئة والمفقودة في الـData set .
في اول خطوة لما تجمع" Gathering " البيانات من المرجح انك راح تجمعها من مصادر مختلفة وبصيغ مختلفة وبعد كدا راح تدخل على مرحلة التنظيف" Cleansing" وكيف راح تتعامل مع البيانات التالفة والخاطئة والمفقودة في الـData set .
19
وصولا للــ”Formatting”قد تحتاج الى انك تعيد تشكيلها او إعادة تسميتها او تدويرها وفي خطوة الـBlending ممكن تقوم بدمج بياناتك مع بيانات ثانية لإثرائها وأخيرا في الـSampling ممكن تأخذ عينة ممثلة للبيانات او Sub set حتى تتعامل مع بيانات يمكن التحكم فيها.
وصولا للــ”Formatting”قد تحتاج الى انك تعيد تشكيلها او إعادة تسميتها او تدويرها وفي خطوة الـBlending ممكن تقوم بدمج بياناتك مع بيانات ثانية لإثرائها وأخيرا في الـSampling ممكن تأخذ عينة ممثلة للبيانات او Sub set حتى تتعامل مع بيانات يمكن التحكم فيها.
20
طيب لو رجعنا لمثال توزيع الكهرباء قلنا سابقا اننا نحتاج بعض البيانات عن الطقس في السابق عشان نقدر نتوقع الطقس في المستقبل وبالتالي البيانات هاذي الي راح نجمعها ما راح تكون في الهيئة الي نقدر نحللها ولكن بعد الخطوة هاذي راح نكون قادرين.
طيب لو رجعنا لمثال توزيع الكهرباء قلنا سابقا اننا نحتاج بعض البيانات عن الطقس في السابق عشان نقدر نتوقع الطقس في المستقبل وبالتالي البيانات هاذي الي راح نجمعها ما راح تكون في الهيئة الي نقدر نحللها ولكن بعد الخطوة هاذي راح نكون قادرين.
21
وبالإضافة الي تجميع البيانات الي تخص استهلاك الطاقة و اي بيانات راح تساعدنا على توقع كمية الطاقة الي يحتاج نوصلها للمنازل.
وبالإضافة الي تجميع البيانات الي تخص استهلاك الطاقة و اي بيانات راح تساعدنا على توقع كمية الطاقة الي يحتاج نوصلها للمنازل.
22
طيب بعد ما جهزت البيانات تقدر الان ندخل على رابع خطوة في الفريموورك Analysis/Modeling وفي الخطوة دي يبدأ تنفيذ التحليل ولو كانت النتائج مناسبة تليها على طول خطوة الـModeling،طيب وعشان نحلل فيه عندنا اكثر من طريقة وراح أتكلم عنها وكيف تختار الطريقة الامثل في ثريد منفصل
طيب بعد ما جهزت البيانات تقدر الان ندخل على رابع خطوة في الفريموورك Analysis/Modeling وفي الخطوة دي يبدأ تنفيذ التحليل ولو كانت النتائج مناسبة تليها على طول خطوة الـModeling،طيب وعشان نحلل فيه عندنا اكثر من طريقة وراح أتكلم عنها وكيف تختار الطريقة الامثل في ثريد منفصل
23
خلونا في مثالنا الي اتكلمنا عنو تبع شركة توزيع الكهرباء بعد ما حددنا اننا نحتاج نتوقع درجات الحرارة للمستقبل باستخدام بعض العوامل والبيانات الي جمعناها وحددناها وفي الخطوة هاذي راح نبني المودل الي يساعدنا في توقع الحرارة لليوم التالي.
خلونا في مثالنا الي اتكلمنا عنو تبع شركة توزيع الكهرباء بعد ما حددنا اننا نحتاج نتوقع درجات الحرارة للمستقبل باستخدام بعض العوامل والبيانات الي جمعناها وحددناها وفي الخطوة هاذي راح نبني المودل الي يساعدنا في توقع الحرارة لليوم التالي.
24
وبعد الانتهاء راح نحتاج اننا نتأكد من النتائج ونحدد بعد كذا لو نحتاج نزيد او نحدث او نعدل في المودل وبالتالي راح يكون عندنا مودل واثقين فيه انو قادر على توقع درجات الحرارة، و راح نعيد نفس العملية عشان نتوقع استهلاك الطاقة ويصير عندنا مودل ثاني لتوقع استهلاك الطاقة.
وبعد الانتهاء راح نحتاج اننا نتأكد من النتائج ونحدد بعد كذا لو نحتاج نزيد او نحدث او نعدل في المودل وبالتالي راح يكون عندنا مودل واثقين فيه انو قادر على توقع درجات الحرارة، و راح نعيد نفس العملية عشان نتوقع استهلاك الطاقة ويصير عندنا مودل ثاني لتوقع استهلاك الطاقة.
25
الآن نبدأ نحلل البيانات الي وممكن ينزاد على التحليل أي عوامل ممكن تساهم في تحسين توقعنا مثل عدد الأبراج او خطوط الكهرباء او عدد المولدات الاحتياطية وتكلفة التوصيل الخ.. وتعيد تحليلك أكثر من مرة حتى تكون متأكد من النتائج.
الآن نبدأ نحلل البيانات الي وممكن ينزاد على التحليل أي عوامل ممكن تساهم في تحسين توقعنا مثل عدد الأبراج او خطوط الكهرباء او عدد المولدات الاحتياطية وتكلفة التوصيل الخ.. وتعيد تحليلك أكثر من مرة حتى تكون متأكد من النتائج.
26
خامس خطوة راح تكون الـValidation وغالبا المرحلة هاذي اهم مرحلة وفيه اكثر من طريقة تخلينا نقدر نسوي فيها Validate للتحليل والمودل الي بنيناه في الخطوات السابقة. نرجع لمثالنا الي طرحناه اول ممكن نكون بنينا المودل الي يتوقع درجات الحرارة لكل يوم على حدة.
خامس خطوة راح تكون الـValidation وغالبا المرحلة هاذي اهم مرحلة وفيه اكثر من طريقة تخلينا نقدر نسوي فيها Validate للتحليل والمودل الي بنيناه في الخطوات السابقة. نرجع لمثالنا الي طرحناه اول ممكن نكون بنينا المودل الي يتوقع درجات الحرارة لكل يوم على حدة.
27
وبعد الـ Validation اتضح لنا انو هاذي مو أفضل طريقة لتوقع الحرارة في المستقبل، وبالتالي نحتاج اننا نرجع ونعدل في مرحلة الـ Analysis/Modeling وممكن نضيف بعض الخصائص مثلا خصائص المناخ لفترة أطول او متوسطها لمدة زمنية أطول.
وبعد الـ Validation اتضح لنا انو هاذي مو أفضل طريقة لتوقع الحرارة في المستقبل، وبالتالي نحتاج اننا نرجع ونعدل في مرحلة الـ Analysis/Modeling وممكن نضيف بعض الخصائص مثلا خصائص المناخ لفترة أطول او متوسطها لمدة زمنية أطول.
28
وغالبا هاذي المرحلة تكون متكررة بحيث انك تروح وترجع وتعدل اكثر من مرة لين توصل لنقطة وتبني مودل كويس وبعض الأحيان ممكن تعيد الخطوات كلها من البداية عشان توصل للنقطة هاذي ممكن تكون اغفلت بعض البيانات والخصائص الي وضح معاك تأثيرها خلال عملية الـValidation
وغالبا هاذي المرحلة تكون متكررة بحيث انك تروح وترجع وتعدل اكثر من مرة لين توصل لنقطة وتبني مودل كويس وبعض الأحيان ممكن تعيد الخطوات كلها من البداية عشان توصل للنقطة هاذي ممكن تكون اغفلت بعض البيانات والخصائص الي وضح معاك تأثيرها خلال عملية الـValidation
29
طيب بعد ما حللت وبنيت المودل جاء الوقت الان لآخر مرحلة إنك توري شغلك كامل للناس ولأصحاب القرار خصوصا في شركتك او مكان عملك وهاذي سادس مرحلة الـ Presentation and Visualization ولكم ان تتخيلوا لأهميتها صار فيه كورسات مطولة ومواد مخصصة فقط لتمثيل البيانات وعرض التوقعات والنتائج.
طيب بعد ما حللت وبنيت المودل جاء الوقت الان لآخر مرحلة إنك توري شغلك كامل للناس ولأصحاب القرار خصوصا في شركتك او مكان عملك وهاذي سادس مرحلة الـ Presentation and Visualization ولكم ان تتخيلوا لأهميتها صار فيه كورسات مطولة ومواد مخصصة فقط لتمثيل البيانات وعرض التوقعات والنتائج.
30
ولازم يكون عرضك مخصص بناء على الجمهور والتحليل وتبدأ تسأل نفسك وتشوف بياناتك كيف ممكن تعرضها بأفضل طريقة وبرضو تستعلم عن الجمهور الي راح يشوف العرض وايش خلفياتهم عن الموضوع, يعني بالعامية مو خذني جيتك وتعرض أي بيانات وباي طريقة وخلاص.
ولازم يكون عرضك مخصص بناء على الجمهور والتحليل وتبدأ تسأل نفسك وتشوف بياناتك كيف ممكن تعرضها بأفضل طريقة وبرضو تستعلم عن الجمهور الي راح يشوف العرض وايش خلفياتهم عن الموضوع, يعني بالعامية مو خذني جيتك وتعرض أي بيانات وباي طريقة وخلاص.
31
ويصفو الأجانب الشخص الي يجي الميتنق ويعرض أي عرض ويهبد أي هبد ويجي ماشي “Show up, and Throw up”حتى وان كانت نتائجك الي عرضتها إيجابية والعالم وردي وتوقعاتك كلها مثالية افضل شي انك تعتبر العملية هاذي كأنك تحكي حكاية عن البيانات ايش سويت ومن فين بديت وعلى ايش استندت وايش حللت
ويصفو الأجانب الشخص الي يجي الميتنق ويعرض أي عرض ويهبد أي هبد ويجي ماشي “Show up, and Throw up”حتى وان كانت نتائجك الي عرضتها إيجابية والعالم وردي وتوقعاتك كلها مثالية افضل شي انك تعتبر العملية هاذي كأنك تحكي حكاية عن البيانات ايش سويت ومن فين بديت وعلى ايش استندت وايش حللت
32
حتى يكون عند صناع القرار ثقة كاملة في تحليلك وتوقعاتك لانو ممكن تكلفهم مبالغ طائلة بالذات لو كانت المشكلة والبيانات معقدين، واسنادا لمثالنا الي طرحناه ممكن توضح برسمة كيف يتناسب الاستهلاك مع درجات الحرارة.
حتى يكون عند صناع القرار ثقة كاملة في تحليلك وتوقعاتك لانو ممكن تكلفهم مبالغ طائلة بالذات لو كانت المشكلة والبيانات معقدين، واسنادا لمثالنا الي طرحناه ممكن توضح برسمة كيف يتناسب الاستهلاك مع درجات الحرارة.
33
ومن المهم أيضا إنك دائما تحط مراجعك ومصادر وتواريخ البيانات الي استخدمتها وأخيرا تقيس نجاح تحليلك إذا كان يدعم انو يحتاج اتخاذ قرار او تغيير.
ومن المهم أيضا إنك دائما تحط مراجعك ومصادر وتواريخ البيانات الي استخدمتها وأخيرا تقيس نجاح تحليلك إذا كان يدعم انو يحتاج اتخاذ قرار او تغيير.
34
وبكذا خلصنا الـ Problem-Solving framework وحاولت اشرحها بشكل مبسط استندت فيه على مصادر متنوعة وقراءات وخبرة شخصية دون التعمق في التفاصيل أتمنى كان الثريد واضح واعذروني ان أخطأت والمجال مفتوح لاي تعديل
وبكذا خلصنا الـ Problem-Solving framework وحاولت اشرحها بشكل مبسط استندت فيه على مصادر متنوعة وقراءات وخبرة شخصية دون التعمق في التفاصيل أتمنى كان الثريد واضح واعذروني ان أخطأت والمجال مفتوح لاي تعديل
جاري تحميل الاقتراحات...