قصة هندسة رائعة عن تصميم منصة البيانات جايرو (Gairo) الخاصة بأوبر لتحليل واستعلام البيانات بالوقت الحقيقي.
يتناول الموضوع كيفية تصميم وبناء هذه المنصة والمعمارية المستخدمة، وكيفية بناء معمارية تحسين أداء الاستعلام بشكل دوري.
يتناول الموضوع كيفية تصميم وبناء هذه المنصة والمعمارية المستخدمة، وكيفية بناء معمارية تحسين أداء الاستعلام بشكل دوري.
تشمل البيانات، كل من مستخدم التطبيق والسائق من أول ما يفتح التطبيق وإرسال الطلب حتى الوصول. ويتم تحليل هذه البيانات لعدة استخدامات، كالتسعير الديناميكي وتحركات السائقين لتوقع العرض والطلب.
تخيل حجم البيانات المتاحة للاستعلام يتجاوز 1500 تيرابايت، ومصادر البيانات تتجاوز 30، أكثر من 4.5 تريلليون سجل، وأكثر من مليون حدث (event) يمر على المنصة كل ثانية!
التحديات التي واجهوها وشرحوها كبيرة وتحتاج عمل ضخم، وتلامس كل جزء من رحلة البيانات، من جلبها وتخزينها وتجزيئها، إلى طريقة تحليل الاستعلامات وإرسالها.
من الأمور الشيقة التي شرحوها آلية ومعمارية التحسين المستمر، وهي آلية لتحسين النظام بشكل مستمر من خلال استراتيجية مكونة من 9 نقاط. ويتم التحسين عن طريق تحليل الاستعلامات المرسلة إلى النظام ومعرفة استخدام العملاء (هنا الأقسام داخل شركة أوبر) وتحسين النظام بناء على استخدامهم.
المعمارية وآلية التحسين مشروحة في المقال الدسم. وبالمناسبة تعجبني المقالات الهندسية من أوبر، غالباً ما تكون عميقة وعملية.
eng.uber.com
eng.uber.com
جاري تحميل الاقتراحات...