ما هو الهادوب و كيفية عمله:
ال Hadoop
ليس قاعدة بيانات، بل إطار عمل برمجي مفتوح المصدر يستند إلى Java بنسبة 100٪، وهو يدعم معالجة مجموعات البيانات الضخمة في بيئة المعلوماتية الموزعة، وهو نظام فعال أثبت جدارته من حيث التكلفة، وقابلية التوسع، والمعالجة المتوازية للبيانات الموزعة
ال Hadoop
ليس قاعدة بيانات، بل إطار عمل برمجي مفتوح المصدر يستند إلى Java بنسبة 100٪، وهو يدعم معالجة مجموعات البيانات الضخمة في بيئة المعلوماتية الموزعة، وهو نظام فعال أثبت جدارته من حيث التكلفة، وقابلية التوسع، والمعالجة المتوازية للبيانات الموزعة
وإدارة تجاوز الأخطاء تلقائيًّا ودعم مجموعات كبيرة من العقد، ومن أشهر مستعملي الهادوب:
Amazon, Akamai, Apple, AVG, eBay, Electronic Arts, Facebook, Google, IBM, ImageShack, LinkedIn, Microsoft, The New York Times, Twitter, Yahoo.
Amazon, Akamai, Apple, AVG, eBay, Electronic Arts, Facebook, Google, IBM, ImageShack, LinkedIn, Microsoft, The New York Times, Twitter, Yahoo.
يشبه Hadoop نواة نظام التشغيل وتتألف أطر عمله من مكونين أساسيين هما
HDFS (Hadoop Distributed File Systems)
وإطار
MapReduce
المكتوبة بلغات مختلفة: Java و Ruby و Python و ++C.
HDFS (Hadoop Distributed File Systems)
وإطار
MapReduce
المكتوبة بلغات مختلفة: Java و Ruby و Python و ++C.
أما برامج MapReduce فهي متوازية في طبيعتها، ومن ثَم فهي مفيدة جدًّا لإجراء تحليل للبيانات على نطاق واسع باستعمال أجهزة متعددة في المنظومة.
يقوم Hadoop بتكرار كل جزء من البيانات على الأجهزة الأخرى الموجودة داخل المنظومة ويعتمد عدد النسخ التي يتم نسخها على عامل النسخ المتماثل.
يقوم Hadoop بتكرار كل جزء من البيانات على الأجهزة الأخرى الموجودة داخل المنظومة ويعتمد عدد النسخ التي يتم نسخها على عامل النسخ المتماثل.
تمر العملية برمتها بأربع مراحل من التنفيذ:
• التقسيم
ينقسم الإدخال في MapReduce إلى أجزاء ذات حجم ثابت تسمى تجزئة الإدخال.
• رسم الخرائط
تمرَّر فيها البيانات بكل تقسيم إلى وظيفة التعيين لإنتاج قيم الإخراج.
• التقسيم
ينقسم الإدخال في MapReduce إلى أجزاء ذات حجم ثابت تسمى تجزئة الإدخال.
• رسم الخرائط
تمرَّر فيها البيانات بكل تقسيم إلى وظيفة التعيين لإنتاج قيم الإخراج.
• التبديل العشوائي
تستهلك هذه المرحلة ناتج مرحلة رسم الخرائط، وتتمثل مهمتها في دمج السجلات ذات الصلة من إخراج مرحلة رسم الخرائط.
• التقليص
تجمع هذه المرحلة بين قيم الإخراج من مرحلة التبديل؛ أي تلخص مجموعة البيانات الكاملة.
تستهلك هذه المرحلة ناتج مرحلة رسم الخرائط، وتتمثل مهمتها في دمج السجلات ذات الصلة من إخراج مرحلة رسم الخرائط.
• التقليص
تجمع هذه المرحلة بين قيم الإخراج من مرحلة التبديل؛ أي تلخص مجموعة البيانات الكاملة.
ومع أن تقنية Hadoop أصبحت مجرد جزء في لغز البيانات الضخمة، فإنها تبقى تقنية ناضجة معتمَدة على نطاق واسع في الحالات الرئيسية – مثل مصفاة المعلومات غير المهيكلة – للعديد من مؤسسات تكنولوجيا المعلومات، ولا تزال أمامها مدة حياة طويلة مفيدة في العديد من هذه المؤسسات.
وبأخذ هذا المنظور الطويل الأجل في الحسبان، يستمر التحسين في طرق هندسة قابلية التشغيل المتداخل بين مكونات الأجهزة والبرامج المطوَّرة تطويرًا مستقلًّا لتصبح أكثر سلاسة.
جاري تحميل الاقتراحات...