نسمع عن الملف الشخصي (Personal Profile) والذي يحتوي معلومات عن شخص معين، كذلك هي البيانات لها ملف شخصي خاص بها وهو ما يسمى (Data Profiling).. تعالوا نتعرف على الملف الشخصي للبيانات، ما فائدته؟ طرق تطبيقه؟ والأدوات التي تساعدنا في تنفيذه
#علم_البيانات
#علم_البيانات
ملفات تعريف البيانات خطوة مهمة لفهم أعمق للبيانات في مرحلة مبكرة، و تُعرف Data Profiling بأنها الإجراءات التي تساعدنا في فهم بياناتنا، وتتضمن فحص وتحليل وإنشاء ملخصات مفيدة عن البيانات، وتعطي نظرة عامة عالية المستوى تساعد في اكتشاف مشكلات جودة البيانات والمخاطر والاتجاهات العامة
البيانات التي نتعامل معها تتكون من صفوف وأعمدة، كل صف يمثل كائن أو شيء في الواقع مثل شخص، كتاب أو سيارة، وكل عمود يمثل خاصية لذلك الشيء، في برنامج أكسل الأعمدة الممثلة بالحروف تمثل الخصائص، والصفوف الممثلة بالأرقام تمثل السجلات وكل سجل يتكون من عدة خصائص مرتبطة بكائن معين
الـ Data Profiling تجيب على الاسئلة التالية:
?هل البيانات كاملة؟ هل هناك قيم مفقودة؟ ما نسبتها؟
?كم عدد القيم الفريدة في كل عمود؟ هل هناك تكرار للصفوف؟
?ماهو توزيع القيم في كل عمود؟
?ما أعلى قيمة؟ أقل قيمة؟ المتوسط؟ الوسيط؟
?ما العلاقات الموجودة بين الخصائص (أعمدة الجدول)؟
?هل البيانات كاملة؟ هل هناك قيم مفقودة؟ ما نسبتها؟
?كم عدد القيم الفريدة في كل عمود؟ هل هناك تكرار للصفوف؟
?ماهو توزيع القيم في كل عمود؟
?ما أعلى قيمة؟ أقل قيمة؟ المتوسط؟ الوسيط؟
?ما العلاقات الموجودة بين الخصائص (أعمدة الجدول)؟
ثلاث ملفات تُجيب على الاسئلة السابقة:
ملف عمود (Column): لكل عمود حساب عدد القيم الفريدة، تكرارها، القيمة العظمى، الصغرى، المتوسط، المدى
ملف الأعمدة (Cross-column): تحليل العلاقات والتبعيات داخل الجدول
ملف الجداول (Cross-table):تحديد المفاتيح الخارجية، البيانات الزائدة عن الحاجة
ملف عمود (Column): لكل عمود حساب عدد القيم الفريدة، تكرارها، القيمة العظمى، الصغرى، المتوسط، المدى
ملف الأعمدة (Cross-column): تحليل العلاقات والتبعيات داخل الجدول
ملف الجداول (Cross-table):تحديد المفاتيح الخارجية، البيانات الزائدة عن الحاجة
بالإمكان التعرف على الـ Data Profiling أكثر عن طريق مقارنته بالـ Data Mining، الـ profiling عملية لتجهيز البيانات لعمليات التنقيب، ملف البيانات أو الـ Profiling يمثل محاولة مبكرة لاستخراج أنماط مبدئية عن البيانات
لتنفيذ الـ Profiling للبيانات هناك عدة أدوات، بعضها مجاني وبعضها باشتراك:
?الـ Profiling مدمج في Power BI:
exceleratorbi.com.au
?بالنسبة للأدوات المخصصة هنا رابط لـ 5 أدوات:
intellspot.com
?مكتبات خاصة بالـ Profiling في Python و R:
towardsdatascience.com
?الـ Profiling مدمج في Power BI:
exceleratorbi.com.au
?بالنسبة للأدوات المخصصة هنا رابط لـ 5 أدوات:
intellspot.com
?مكتبات خاصة بالـ Profiling في Python و R:
towardsdatascience.com
مقال جميل يشرح طريقة تفعيل خاصية الـ Data Profiling في برنامج Power BI، وخاصية Power Query التي جعلت التعامل مع البيانات أسهل وأكثر متعة:
poweredsolutions.co
poweredsolutions.co
جاري تحميل الاقتراحات...