سعيد شعبان
سعيد شعبان

@Saeed_SH23

63 تغريدة 179 قراءة Jul 10, 2022
التنبؤ بحركة المرور في علم البيانات
والتعلم الآلي🚦🚗
- ما المقصود بالتنبؤ بحركة المرور؟
- ما هي الخوارميات المستخدمة
- ما دور علم البيانات في ذلك
- ما دور تعلم الآلة ML
- ما دور التعلم العميق DL
- ما المنصات التي توفر بيانات جاهزة
ثريد طويل وعميق خلاصة بحثي لعدة ايام 👇👇
أولا وقبل اي شي اود ان الفت نظر المتابع الكريم ان علوم البيانات وتعلم الآلة والذكاء الإصطناعي ، هدفها الأساسي هو ايجاد حل لمشاكل العالم الحقيقية
لذلك لا تحصر نفسك داخل المجال النظري فقط ولكن ابحث عن المشاكل المحيطة والمعروفة عالميا وكيف ساهمت تلك التقنيات في إيجاد حلول لها
في عام 2021 ، فقد سائقو مدينة نيويورك ما معدله 102 ساعة في الازدحام - وقبل الوباء كانت تلك النتيجة أسوأ , كم مرة تعلق أنت بنفسك في الازدحام ، وتتمنى أن تكون قد علمت به مسبقًا واتخذت طريقًا مختلفًا؟
وكم مرة عليك أن تعتذر لعملائك عن تأخر السائقين لديك بسبب الازدحام المروري؟
تُظهر لك أدوات التنقل مثل خرائط Google أو Waze الوقت اللازم لرحلتك ، وحساب الوقت المقدر للوصول ، وإنشاء المسار الأمثل بناءً على ظروف الطريق وحركة المرور المتوقعة.
تعتمد العديد من الشركات ذات الصلة باللوجستيات بشكل كبير على دقة هذه الحسابات >
ولكن هل فكرت يومًا كيف تعرف خرائط Google ما يمكن توقعه في الطريق؟
في هذا المنشور ، نستكشف ما يحدث وراء كواليس التنبؤ بحركة المرور ، والبيانات المستخدمة ، والتقنيات والخوارزميات التي يتم تنفيذها ، وكيفية الحصول على التوقعات المرغوبة على شاشتك لكن أولاً لنبدأ بشرح سبب أهميته
- ما هو التنبؤ بحركة المرور ، ومن يحتاج إليه ، ولماذا هو مهم؟
يعني التنبؤ بحركة المرور التنبؤ بحجم وكثافة تدفق حركة المرور ، عادةً لغرض إدارة حركة المركبات وتقليل الازدحام وإنشاء المسار الأمثل (الأقل استهلاكًا للوقت أو الطاقة).
يُعد التنبؤ بحركة المرور مهمًا بشكل أساسي لمجموعتين من المؤسسات
1- السلطات الوطنية / المحلية National/local authorities .
2. شركات الخدمات اللوجستية Logistics companies.
1- السلطات الوطنية / المحلية National/local authorities .
في السنوات العشر إلى العشرين الماضية ، اعتمدت العديد من المدن أنظمة النقل الذكية (ITS) intelligent transportation systems التي تدعم تخطيط شبكة النقل الحضري وإدارة حركة المرور. >
تستخدم هذه الأنظمة معلومات المرور الحالية بالإضافة إلى التنبؤات التي تم إنشاؤها لتحسين كفاءة النقل وسلامته من خلال إعلام المستخدمين بظروف الطريق الحالية وتعديل البنية التحتية للطرق (مثل أضواء الشوارع).
2. شركات الخدمات اللوجستية Logistics companies.
مجال آخر للتنفيذ هو صناعة الخدمات اللوجستية يتعين على شركات النقل والتسليم والخدمة الميدانية وغيرها من الشركات جدولة عملياتها بدقة وإنشاء الطرق الأكثر كفاءة.
في كثير من الأحيان ، لا يتعلق الأمر فقط بالرحلات الحالية ، ولكن أيضًا بالأنشطة في المستقبل تعد التنبؤات الدقيقة لأحوال الطرق والمرور لتجنب الازدحام أمرًا بالغ الأهمية لتخطيط هذه الشركات وأدائها.
إذن ، كيف يتم توقع حركة المرور؟
يتم استخدام تقنيات مختلفة للتعلم الآلي (وبالتحديد التعلم العميق) القادرة على معالجة كميات هائلة من البيانات التاريخية والحالية للتنبؤ بتدفق حركة المرور وكثافتها وسرعتها.
سنشرح بعض الخوارزميات الفعالة بمزيد من التفصيل لكن أولاً ، سننظر في البيانات المطلوبة لتوقع حركة المرور ومن أين يمكنك الحصول عليها.
أنواع ومصادر البيانات Data types and sources .
تتأثر حركة المرور بالعديد من العوامل ، ويجب أن تضعها في الاعتبار جميعًا لعمل تنبؤات دقيقة لذلك ، هناك عدة مجموعات رئيسية من البيانات التي يجب عليك الحصول عليها.
خرائط البيانات Mapping data
بادئ ذي بدء ، يجب أن يكون لديك خريطة مفصلة بشبكات الطرق والسمات ذات الصلة يعد الاتصال بموفري بيانات الخرائط العالميين مثل خرائط Google أو TomTom أو HERE أو OSM طريقة رائعة للحصول على معلومات كاملة ومحدثة.
معلومات المرور Traffic information
بعد ذلك ، سيتعين عليك جمع كل من المعلومات التاريخية والحالية المتعلقة بالمرور مثل عدد المركبات التي تمر في نقطة معينة وسرعتها ونوعها (الشاحنات والمركبات الخفيفة وما إلى ذلك).
الأجهزة المستخدمة لجمع هذه البيانات هي
كاشفات loop detectors
الكاميرات cameras
مجسات الحركة weigh in motion sensors
الرادارات أو تقنيات الاستشعار الأخرى radars, or other sensor technologies
لحسن الحظ ، لا يتعين عليك تثبيت هذه الأجهزة في كل مكان بنفسك.
من الأسهل الحصول على هذه المعلومات من مقدمي الخدمات المذكورين أعلاه الذين يجمعون البيانات من نظام من أجهزة الاستشعار ، أو مصادر خارجية متنوعة
تستخدم المنصات الأخرى مثل Otonomo تقنية مبتكرة من مركبة إلى كل شيء (V2X) لجمع ما يسمى ببيانات السيارة المتصلة من أجهزة المودم المدمجة.
يمكنك أيضًا الحصول على معلومات مهمة أخرى عن الحوادث (إغلاق الطرق أو أعمال الطرق) ، والأماكن ذات الأهمية ، وما إلى ذلك ، من مزودي البيانات
معلومات الطقس Weather information
بيانات الطقس (التاريخية والحالية والمتوقعة) ضرورية أيضًا لأن ظروف الأرصاد الجوية تؤثر على حالة الطريق وسرعة القيادة.
هناك الكثير من مزودي بيانات الطقس الذين يمكنك الاتصال بهم - مثل
tomorrow.io
خوارزميات لتوليد تنبؤات حركة المرور
Algorithms for generating traffic predictions .
يتضمن التنبؤ بحركة المرور التنبؤ بسرعة القيادة على أجزاء معينة من الطريق ، بالإضافة إلى حدوث الازدحام وتطوره دعونا نلقي نظرة على الأساليب المختلفة لهذه المهمة.
1- النهج الإحصائي Statistical approach.
تتيح لك الأساليب الإحصائية تحديد أنماط حركة المرور على نطاق مختلف :
خلال اليوم ، وفي أيام مختلفة من الأسبوع ، والموسمية ، وما إلى ذلك وعادة ما تكون أسهل وأسرع وأرخص في التنفيذ من أساليب التعلم الآلي.
ومع ذلك ، فهي أقل دقة لأنها لا تستطيع معالجة هذا القدر من البيانات متعددة المتغيرات على وجه التحديد ، تم استخدام نماذج المتوسط ​​المتحرك المتكامل الانحدار التلقائي (ARIMA) بنشاط للتنبؤ بحركة المرور منذ السبعينيات لأنها سهلة التنفيذ وتظهر دقة أعلى مقارنة بالطرق الإحصائية الأخرى.
إنه نهج إحصائي كلاسيكي لتحليل الأحداث الماضية والتنبؤ بالأحداث المستقبلية يلاحظ البيانات التي يتم جمعها من سلسلة من الفواصل الزمنية المنتظمة ويفترض أن الأنماط السابقة ستتكرر في المستقبل.
ومع ذلك ، فإن تدفق حركة المرور عبارة عن هيكل معقد به العديد من المتغيرات التي لا يمكن معالجتها بشكل فعال بمساعدة نماذج ARIMA أحادية المتغير.
ومع ذلك ، فإن تدفق حركة المرور عبارة عن هيكل معقد به العديد من المتغيرات التي لا يمكن معالجتها بشكل فعال بمساعدة نماذج ARIMA أحادية المتغير.
2- نهج التعلم الآلي Machine learning approach
يتيح لك التعلم الآلي (ML) إنشاء نماذج تنبؤية تأخذ في الاعتبار كميات كبيرة من البيانات غير المتجانسة من مصادر مختلفة.
تم إجراء العديد من الدراسات حول تطبيق خوارزميات ML للتنبؤ بحركة المرور على الطرق فيما يلي بعض الأمثلة الناجحة.
تُنشئ خوارزمية random forest عدة أشجار قرار وتدمج بياناتها للحصول على تنبؤات دقيقة.
إنها سريعة جدًا ويمكن أن تؤدي إلى نتائج فعالة إذا توفر بيانات تدريب كافية ، عند تطبيقها على مشكلة ازدحام الطريق ، أظهرت هذه الطريقة دقة بلغت 87.5 بالمائة.
في هذه الحالة ، يتم استخدام الظروف الجوية والفترة الزمنية والظروف الخاصة للطريق وجودة الطريق والعطلات كمتغيرات إدخال نموذجية.
تعتمد خوارزمية k-nearest neighbors (KNN) على مبدأ تشابه الميزات للتنبؤ بالقيم المستقبلية أظهرت التجارب باستخدام نموذج KNN دقة تزيد عن 90 بالمائة لتنبؤ تدفق حركة المرور على المدى القصير.
نهج التعلم العميق Deep learning approach .
أثبتت أساليب التعلم العميق (DL) أنها فعالة للغاية في التنبؤ بحركة المرور على الطرق مقارنةً بتقنيات التعلم الآلي أو التقنيات الإحصائية ، حيث تُظهر باستمرار حوالي 90 بالمائة من دقة التنبؤ وأعلى.
تعتمد خوارزميات التعلم العميق على الشبكات العصبية تتكون الشبكات العصبية (NN) أو الشبكات العصبية الاصطناعية (ANN) من عقد مترابطة (الخلايا العصبية) مرتبة في طبقتين أو أكثر ومصممة لتعمل بشكل مشابه للدماغ البشري.
هناك العديد من أنواع الشبكات العصبية المطورة لأغراض مختلفة فيما يلي بعض ما تم استخدامه في تحليل حركة المرور والتنبؤ بها.
١- الشبكات العصبية التلافيفية (CNN)
أحد العوامل الموثوق بهم في التعرف على الصور وتحليلها أحد تطبيقاتهم الطبيعية لمشاكل النقل هو اكتشاف الازدحام باستخدام الصور من كاميرات المراقبة على الطريق متوسط ​​دقة التصنيف في هذه الحالة يصل إلى 89.5 بالمائة بالنسبة لتوقعات حركة المرور ،
تعد شبكات CNN ليست الخيار الأول ومع ذلك ، كانت هناك محاولات ناجحة جدًا لبناء نماذج قائمة على CNN تتنبأ بسرعة شبكة النقل لتحقيق ذلك ، قام الباحثون بتحويل بيانات الوقت والمكان التي تصف تدفق حركة المرور إلى مصفوفة صور ثنائية الأبعاد.
2- الشبكات العصبية المتكررة (RNNs)
على النقيض من شبكات CNN ، تهدف إلى معالجة بيانات السلاسل الزمنية أو الملاحظات التي تم جمعها خلال فترات زمنية معينة تعد أنماط حركة المرور مثالًا جيدًا على هذه الملاحظات أظهر البحث دقة عالية في التنبؤ بتطور الازدحام عند تطبيق نماذج RNN ومع ذلك ،
فإن عيبهم هو مشكلة التدرج اللوني المتلاشي مما يعني فقدان جزء من البيانات من الطبقات السابقة (ولهذا يُقال إن RNNs "لها ذاكرة قصيرة المدى") هذا "النسيان" يجعل تدريب النموذج أكثر صعوبة ويستغرق وقتًا طويلاً
3- الذاكرة طويلة المدى (LSTM) والوحدة المتكررة (GRU)
هي اختلافات في RNN تعالج مشكلة التدرج اللوني التلاشي أظهرت دراسة قارنت أداء هذه النماذج أن نموذج GRU أكثر دقة في تنبؤات تدفق حركة المرور وأسهل تدريبًا هناك عدد كبير من الدراسات التي تقترح بناء أنواع أخرى من
نماذج NN للتنبؤ بحركة المرور ، على سبيل المثال ، الشبكات العصبية للرسم البياني والشبكات العصبية الضبابية والشبكات العصبية Bayesian والمزيد ، بالإضافة إلى استخدام طرق مختلطة تجمع بين خوارزميتين أو أكثر اعتبارًا من اليوم ، لم يتم العثور على أفضل تقنية يمكن تطبيقها في جميع الحالات
كيفية تنفيذ التنبؤ بحركة المرور؟
إذا كنت تدير نشاطًا لوجستيًا ، فعلى الأرجح أنك لست بحاجة إلى توقع حركة المرور بمفردها ، بل تحتاج إلى تأثيرها على عملياتك يعد التنبؤ الدقيق مهمًا لأغراض التوجيه والجدولة إذا كانت هذه هي الحالة ، فهناك ثلاث طرق رئيسية للحصول على تلك التوقعات
1- حلول جاهزة Off-the-shelf solutions
هناك الكثير من الحلول البرمجية الجاهزة في السوق والتي تم تطويرها لأي نوع من الأعمال إذا كانت شركتك صغيرة أو متوسطة الحجم وكانت عملياتك (سواء كانت خدمة ميدانية أو توصيل آخر ميل أو تاكسي أو متحرك أو نقل لمسافات طويلة) موحدة إلى حد ما ،
فيمكنك العثور على أداة تلبي احتياجاتك ولديها قدرات التوجيه لدعم أنشطة عملك OptimoRoute أ Fixlastmile أو Badger Maps أوRoute4Me أو Routific -توفر عدد لا يحصى من الأنظمة الأساسية وظائف تخطيط المسار والتحسين (خاصة على المدى القصير ) يعتمد الاختيار على صناعتك ومتطلبات العمل المحددة
2- تطوير مخصص وتكامل API
إذا كنت تدير مؤسسة كبيرة ولديك متطلبات عمل فريدة ، ففكر في إنشاء نموذج مخصص لحل احتياجاتك المحددة وتنفيذه في النظام الأساسي الخاص بك كن مستعدًا لأن الأمر سيتطلب استثمارات كبيرة ، ومتخصصين ماهرين في البيانات ،
وقدرًا كبيرًا من الوقت للاتصال بمزودي البيانات المتنوعين وتدريب خوارزميات ML / DL الرائعة.
على الجانب المشرق ، ستحصل على توقعاتك الخاصة وستظل مستقلاً عن موردي البرامج خيار آخر هو استغلال وظيفة التنبؤ بحركة المرور للمنصات الخارجية في هذه الحالة ،
تستمر في استخدام نظامك الخاص الذي يناسب احتياجاتك والذي اعتاد فريقك عليه ، وفي نفس الوقت تتجنب العملية المعقدة لبناء نموذج ML ، والتدريب ، والتقييم ، وما إلى ذلك لتحقيق ذلك ، سيتعين عليك إنشاء تكامل لواجهة برمجة التطبيقات مع موفري بيانات حركة المرور
المقارنة بين منصات التنبؤ بحركة المرور
Traffic prediction platforms compared .
منصات خرائط جوجل Google Maps Platforms .
إذا كنت ترغب في الدخول في شراكة مع أكبر مزود لبيانات الخرائط ، فضع في اعتبارك: ستتمكن فقط من إضافة طبقة حركة المرور الحالية إلى خريطتك ، ولكن بدون توقعات علاوة على ذلك ، تحذر وثائقهم: "يتم تحديث معلومات المرور بشكل متكرر ،
ولكن ليس على الفور من غير المحتمل أن تؤدي الطلبات المتتالية السريعة لنفس المنطقة إلى نتائج مختلفة ". كما أنها توفر مجموعة متنوعة من واجهات برمجة التطبيقات لإضافة وظائف الخريطة أو التوجيه إلى منتجك المستند إلى الموقع.
ويز Waze
waze.com
يحصل منتج آخر من منتجات Google وثاني أكثر تطبيقات التنقل شيوعًا على معلومات حول حركة المرور والحوادث والاختناقات وظروف الطريق الأخرى فقط من مستخدميها الذين يتجولون في الأرجاء يتم تحديث المعلومات كل دقيقتين
ويمكن الوصول إليها عبر موجزات بيانات XML و JSON Geo RSS المترجمة لاحظ أن هذه المعلومات لن تكون موثوقة إلا إذا كان هناك عدد كافٍ من السائقين في المنطقة يمكنك أيضًا تضمين Waze Live Map مع وظائف البحث والتوجيه على موقع الويب الخاص بك.
توم توم TomTom
tomtom.com
توفر واجهات برمجة تطبيقات TomTom's Traffic RESTful إمكانية الوصول إلى البيانات التاريخية والحقيقية المتعلقة بحوادث المرور وتدفقها يستخدم TomTom أكثر من 600 مليون جهاز تحديد المواقع العالمي (GPS) ومسبار بيانات السيارة العائمة لجمع معلومات
محدثة (يتم تحديثها كل 30 ثانية) ، وتحليلها ، وإجراء تنبؤات تصل إلى 24 ساعة يمكنك الاستفادة من هذه البيانات لإنشاء مسارات باستخدام تطبيقك الخاص أو الحصول على منتج التوجيه الشامل الخاص بهم.
منصة HERE .
here.com
تجمع منصة HERE Real-Time Traffic البيانات من أكثر من 100 خدمة للإبلاغ عن الحوادث وتستخدم المليارات من نقاط بيانات GPS يوميًا يتم تحديث بياناتها كل دقيقة توفر HERE معلومات في الوقت الفعلي وتضع تنبؤات دقيقة للـ 12 ساعة القادمة بناءً على بيانات
حركة المرور التاريخية والحالية تحقق من وثائق Traffic RESTful API للحصول على التفاصيل.
منصة ArcGIS.
arcgis.com
تتيح لك واجهات برمجة تطبيقات REST لخدمة حركة المرور في ArcGIS الحصول على تصور لظروف حركة المرور في تطبيقك يتم تحديث بيانات حركة المرور كل 5 دقائق والتنبؤات للأربعة القادمة ساعات متاحة بالإضافة إلى ذلك ، توفر خريطة الويب معلومات حول الحوادث
منصة PTV.
#c2871" target="_blank" rel="noopener" onclick="event.stopPropagation()">myptv.com
تدعم PTV Traffic Data وPTV Data Analytics Platformمنتجات الخرائط والتوجيه الخاصة بها (على سبيل المثال،PTV Optima) ويمكن الاتصال بها من أجل الحصول على معلومات حركة المرور التاريخية والحقيقية بالإضافة إلى التنبؤات قصيرة المدى(حتى 60 دقيقة مقدما)
قم بزيارة صفحة API الخاصة بمعلومات المرور للحصول على تفاصيل التكامل أو صفحة API للخريطة الرقمية إذا كنت بحاجة إلى محتوى خرائط إضافي (على سبيل المثال ، القيود الخاصة بالشاحنات).
أخيرا ما الذي يجب مراعاته أيضًا ؟
هناك بعض الأشياء التي يجب ذكرها فيما يتعلق بتنفيذ تقنيات ML للتنبؤ بحركة المرور عليك أن تتذكر أن خوارزميات ML / DL تعمل بشكل أفضل عندما تكون هناك بيانات كافية لتدريب النماذج وضبطها لتحقيق أقصى قدر من الدقة.
لذلك ، كلما تمكنت من الحصول على مجموعات بيانات أكبر للحصول على أفضل النتائج التي ستحصل عليها نقطة أخرى مهمة تتعلق بوباء COVID19 بدءًا من أوائل عام 2020 ، تغيرت أنماط حركة المرور في جميع أنحاء العالم بشكل كبير لهذا السبب ، من المنطقي إعطاء الأولوية لأحدث البيانات التاريخية
وأنماط حركة المرور عند بناء نموذج تنبؤي تقدم جميع حلول التحليلات التي وصفناها أعلاه توقعات للمستقبل القريب فقط.
وهذا أمر مفهوم: من الواضح أن التوقعات قصيرة المدى أكثر دقة من التوقعات طويلة المدى حيث توجد دائمًا فرصة لظروف غير متوقعة على الطريق.
لقراءة البحث كامل علي موقعي .
d-science.me
أو من علي مساحة الشبكة علي Quora .
qr.ae

جاري تحميل الاقتراحات...