من النقاشات في تطبيقات Business Intelligence
تحديداً استخدام برنامج الـ Power BI في إنشاء لوحة بيانات Dashboard
كان هناك سؤال
إذا كان لدي قاعدة بيانات منظمة و وجداولها مقسمة و normalized
ومحتار بين ٣ خيارات أيهما أفضل؟
#علم_البيانات
تحديداً استخدام برنامج الـ Power BI في إنشاء لوحة بيانات Dashboard
كان هناك سؤال
إذا كان لدي قاعدة بيانات منظمة و وجداولها مقسمة و normalized
ومحتار بين ٣ خيارات أيهما أفضل؟
#علم_البيانات
١- الاتصال بقاعدة البيانات OTLP database
٢- أخذ نسخة طبق الأصل من قاعدة البيانات الأصلية وأضعها في سيرفر أخر وأتصل بها.
٣- يتم إنشاء Data warehouse والاتصال بها.
٢- أخذ نسخة طبق الأصل من قاعدة البيانات الأصلية وأضعها في سيرفر أخر وأتصل بها.
٣- يتم إنشاء Data warehouse والاتصال بها.
قبل مناقشة الخيارات هناك طريقتين للاتصال بالبيانات في ال Power BI
DirectQuery
Import
DirectQuery
Import
ال DirectQuery تعني الاتصال مباشرة بمصدر البيانات حيث تكون التقارير مبنية على أخر صورة للبيانات live
من مميزات هذه الطريقة أنه ليس هناك حاجة لعمل جدولة لتحديث مصدر البيانات.
من مميزات هذه الطريقة أنه ليس هناك حاجة لعمل جدولة لتحديث مصدر البيانات.
من العيوب ال DirectQuery قد تؤثر على الأداء ويكون هناك بطء. أيضا من العيوب لا يمكن الاستفادة من بعض مميزات معالجة البيانات في ال Power BI مثلا التعامل مع ال date وهو مهم في ذكاء الأعمال
ال Import
هنا يتم أخذ نسخة من البيانات وتحميلها على ال power BI بمعنى يكون الاستعلام من ال model الموجود في ال power BI وليس مصدر البيانات الأصلي
المميزات تستفيد من مميزات معالجة البيانات في power bi وأيضا يكون الأدا غالباً أسرع.
هنا يتم أخذ نسخة من البيانات وتحميلها على ال power BI بمعنى يكون الاستعلام من ال model الموجود في ال power BI وليس مصدر البيانات الأصلي
المميزات تستفيد من مميزات معالجة البيانات في power bi وأيضا يكون الأدا غالباً أسرع.
ال Import
لكن قد يكون هناك قيود على حجم البيانات مثلا لا تتجاوز I GB حسب نسخة الpower Bi
أيضا تحتاج لتحديث مصدر البيانات بشكل مستمر ويمكن ذلك عن طريق الجدولة.
نستعرض الأن الخيارات الثلاثة
لكن قد يكون هناك قيود على حجم البيانات مثلا لا تتجاوز I GB حسب نسخة الpower Bi
أيضا تحتاج لتحديث مصدر البيانات بشكل مستمر ويمكن ذلك عن طريق الجدولة.
نستعرض الأن الخيارات الثلاثة
في الخيار الأول هو لا يقصد نوع الاتصال DirectQuery أو Import إنما يقصد التعامل مع مصدر البيانات مثلا (db) بصورته الاساسية بما فيها من علاقات وجداول أخرى لا تفيد في تحليل البيانات. وهذ الخيار لا يصلح حيث كثرة العلاقات بين الجداول تؤثر على الأداء.
أيضا من العيوب في الخيار الأول التعامل مع قاعدة بيانات هي في الاساس يتم عليها عمليات operations من نظام أخر.
قد يؤثر على أداء النظام المرتبط بها.
قد يؤثر على أداء النظام المرتبط بها.
الخيار الثاني: الهدف منه تجنب التأثير على مصدر البيانات الأساسي بما أنه يتم عليه عمليات من النظام الأساسي المرتبط به.
هذا الخيار هو الأسوأ. ونفس مشاكل الخيار الأول مثل:
هذا الخيار هو الأسوأ. ونفس مشاكل الخيار الأول مثل:
١ وجود العلاقات وتأثيره على الأداء
٢ التعامل مع الجداول التفصيلية والمفترض تكون البيانات مُجمعة. مثلا المبيعات تكون بصورة شهرية وليست يومية ( عن طريقSQL Group By )
٣ نقل البيانات من المصدر الأساسي إلى النسخة بشكل مستمر
٢ التعامل مع الجداول التفصيلية والمفترض تكون البيانات مُجمعة. مثلا المبيعات تكون بصورة شهرية وليست يومية ( عن طريقSQL Group By )
٣ نقل البيانات من المصدر الأساسي إلى النسخة بشكل مستمر
الخيار الثالث وهو الأنسب
حيث يتم نقل البيانات من المصدر الأساسي إلى DW من خلال تقنيات مثل ETL
وعمل fact tables بصورة مجمعة و dimension tables
وهذا يعني أن البيانات تكون مجهزة بشكل مناسب للتحليل وفي صورة تساعد في تحسين الأداء
حيث يتم نقل البيانات من المصدر الأساسي إلى DW من خلال تقنيات مثل ETL
وعمل fact tables بصورة مجمعة و dimension tables
وهذا يعني أن البيانات تكون مجهزة بشكل مناسب للتحليل وفي صورة تساعد في تحسين الأداء
وهناك خيار بديل وهو مناسب أيضاً
إنشاء views من الجداول الأساسية تكون بصورة مناسبة للتحليل. وتحميلها import عن طريق ال power BI
الفائدة
يمكن الاستفادة من مميزات المعالجة في ال power BI وعمل ال mesures
لا تحتاج إلى بعض تعقيدات ال DW و ETL
وأيضا يكون التحديث مجدول.
إنشاء views من الجداول الأساسية تكون بصورة مناسبة للتحليل. وتحميلها import عن طريق ال power BI
الفائدة
يمكن الاستفادة من مميزات المعالجة في ال power BI وعمل ال mesures
لا تحتاج إلى بعض تعقيدات ال DW و ETL
وأيضا يكون التحديث مجدول.
الخلاصة
اختيار الطريقة المناسبة يعتمد على عدة عوامل منها حجم ونوع البيانات وكذلك الحاجة لعرض التقارير هل هو بشكل مباشرة أو فترات مختلفة
لكن خيار ال DW و ال Views هي الأنسب.
community.powerbi.com
docs.microsoft.com
اختيار الطريقة المناسبة يعتمد على عدة عوامل منها حجم ونوع البيانات وكذلك الحاجة لعرض التقارير هل هو بشكل مباشرة أو فترات مختلفة
لكن خيار ال DW و ال Views هي الأنسب.
community.powerbi.com
docs.microsoft.com
جاري تحميل الاقتراحات...