تركيب Hadoop باستخدام Ambari

كل ما تريد معرفته عن تثبيت Hadoop باستخدام Ambari

أصبح Apache Hadoop إطارًا برمجيًا بحكم الواقع لحوسبة موثوقة وقابلة للتطوير وموزعة وواسعة النطاق. على عكس أنظمة الحوسبة الأخرى ، فإنه يجلب الحوسبة إلى البيانات بدلاً من إرسال البيانات إلى الحساب. تم إنشاء Hadoop في عام 2006 في Yahoo بواسطة Doug Cut بناءً على ورقة نشرتها Google. مع نضوج Hadoop ، تمت إضافة العديد من المكونات والأدوات الجديدة على مر السنين إلى نظامها البيئي لتعزيز قابليتها للاستخدام والوظائف. Hadoop HDFS و Hadoop MapReduce و Hive و HCatalog و HBase و ZooKeeper و Oozie و Pig و Sqoop وما إلى ذلك على سبيل المثال لا الحصر.

لماذا أمباري؟

مع تزايد شعبية Hadoop ، يقفز العديد من المطورين إلى هذه التكنولوجيا لتذوقها. ولكن كما يقولون ، Hadoop ليس لضعف القلوب ، لم يتمكن العديد من المطورين حتى من عبور حاجز تثبيت Hadoop. تقدم العديد من التوزيعات بيئة رمل مثبتة مسبقًا لـ VM لتجربة الأشياء ولكنها لا تمنحك الشعور بالحوسبة الموزعة. ومع ذلك ، فإن تثبيت العقدة المتعددة ليس بالمهمة السهلة ومع تزايد عدد المكونات ، من الصعب جدًا التعامل مع العديد من معلمات التكوين. الحمد لله أباتشي أمباري يأتي هنا لإنقاذنا!

ما هو أمباري؟

Apache Ambari هي أداة قائمة على الويب لتوفير وإدارة ومراقبة مجموعات Apache Hadoop. يوفر Ambari لوحة معلومات لعرض حالة المجموعة مثل الخرائط الحرارية والقدرة على عرض تطبيقات MapReduce و Pig و Hive بصريًا جنبًا إلى جنب مع ميزات لتشخيص خصائص أدائها بطريقة سهلة الاستخدام. يحتوي على واجهة مستخدم بسيطة للغاية وتفاعلية لتثبيت أدوات متنوعة وتنفيذ مهام الإدارة والتكوين والمراقبة المختلفة. أدناه ، نأخذك عبر خطوات مختلفة في تثبيت Hadoop ومكوناته المختلفة للنظام البيئي على مجموعة متعددة العقد.

يتم عرض العمارة Ambari أدناه

أمباري مكونان

1. خادم Ambari - هذه هي العملية الرئيسية التي تتواصل مع وكلاء Ambari المثبتين على كل عقدة مشاركة في الكتلة. يحتوي هذا على طبعة قاعدة بيانات postgres والتي يتم استخدامها للحفاظ على جميع البيانات الوصفية المتعلقة بالعنقود.
2. وكيل Ambari - هؤلاء هم وكلاء Ambari في كل عقدة. يرسل كل وكيل بشكل دوري حالته الصحية مع مقاييس مختلفة وحالة الخدمات المثبتة والعديد من الأشياء الأخرى. وفقًا للسيد ، يقرر الإجراء التالي ويعيد إلى الوكيل التصرف.

كيفية تثبيت Ambari؟

يعد تثبيت Ambari مهمة سهلة تتكون من بعض الأوامر.

سنغطي تركيب Ambari وإعداد الكتلة. من المفترض أن يكون لدينا 4 عقد. Node1 و Node2 و Node3 و Node4. ونحن نختار Node1 ليكون خادم Ambari الخاص بنا.

هذه خطوات التثبيت على النظام المعتمد على RHEL ، لأن خطوات دبيان وأنظمة أخرى سوف تختلف قليلاً.

1. تركيب أمباري: -

من عقدة خادم Ambari (العقدة 1 كما قررنا)

أنا. تنزيل Ambari public repo

سيضيف هذا الأمر مستودع Hortonworks Ambari إلى yum وهو مدير الحزم الافتراضي لأنظمة RHEL.

ثانيا. تثبيت Ambari RPMS

سيستغرق ذلك بعض الوقت وسيتم تثبيت Ambari على هذا النظام.

ثالثا. تكوين خادم Ambari
الشيء التالي الذي يجب فعله بعد تثبيت Ambari هو تكوين Ambari وإعداده لتوفير الكتلة.
الخطوة التالية ستهتم بهذا

رابعا. ابدأ الخادم وقم بتسجيل الدخول إلى واجهة مستخدم الويب

ابدأ الخادم بامتداد

الآن يمكننا الوصول إلى Ambari web UI (مستضاف على منفذ 8080).

تسجيل الدخول إلى Ambari باسم المستخدم الافتراضي "admin" وكلمة المرور الافتراضية "admin"

إنشاء كتلة Hadoop

1. الصفحة المقصودة

انقر فوق "تشغيل معالج التثبيت" لبدء إعداد الكتلة

2. اسم الكتلة

أعطيك الكتلة اسما جيدا.

ملحوظة: هذا مجرد اسم بسيط للكتلة ، إنه ليس بهذه الأهمية ، لذلك لا تقلق بشأنه واختر أي اسم له.

3. اختيار المكدس

هذه الصفحة سوف تسرد الأكوام المتاحة للتثبيت. كل كومة معبأة مسبقًا بمكون نظام Hadoop البيئي. هذه الأكوام من Hortonworks. (يمكننا تثبيت برنامج Hadoop العادي أيضًا. وسنغطي ذلك في مشاركات لاحقة).

4. دخول المضيف وإدخال مفتاح SSH

قبل المضي قدمًا في هذه الخطوة ، يجب أن يكون لدينا إعداد SSH بكلمة مرور أقل لجميع العقد المشاركة.

أضف أسماء المضيف للعقد ، إدخال واحد في كل سطر. [أضف FQDN الذي يمكن الحصول عليه عن طريق اسم المضيف –f الأمر]. حدد المفتاح الخاص المستخدم أثناء إعداد كلمة مرور أقل SSH واسم المستخدم باستخدام المفتاح الخاص الذي تم إنشاؤه.

5. حالة تسجيل المضيفين

يمكنك أن ترى بعض العمليات التي يتم إجراؤها ، وتشمل هذه العمليات تعيين وكيل أمباري على كل عقدة ، وإنشاء إعدادات أساسية على كل عقدة. بمجرد أن نرى كل العناصر الخضراء ، نكون مستعدين للمضي قدمًا. في بعض الأحيان قد يستغرق هذا بعض الوقت لأنه يقوم بتثبيت بعض الحزم.

6. اختر الخدمات التي ترغب في تثبيتها

وفقًا للحزم المحددة في الخطوة 3 ، لدينا عدد الخدمات التي يمكننا تثبيتها في المجموعة. يمكنك اختيار الشخص الذي تريده. يختار Ambari بذكاء الخدمات التابعة إذا لم تقم بتحديدها. على سبيل المثال ، لقد حددت HBase ولكن ليس Zookeeper ، فسيطلب ذلك وسيضيف Zookeeper أيضًا إلى المجموعة.

7. خرائط الخدمات الرئيسية مع العقد

كما تعلم ، فإن نظام Hadoop البيئي يحتوي على أدوات تستند إلى بنية السيد والعبد. في هذه الخطوة ، سنربط العمليات الرئيسية بالعقدة. هنا تأكد من موازنة مجموعتك بشكل صحيح. أيضًا ، ضع في اعتبارك أن الخدمات الأساسية والثانوية مثل Namenode و Namenode الثانوي ليست على نفس الجهاز.

8. رسم خرائط العبيد مع العقد

على غرار الماجستير ، قم بتعيين خدمات الرقيق على العقد. بشكل عام ، سيكون لجميع العقد عملية تابعة تعمل على الأقل لـ Datanodes و Nodemanagers.

9. تخصيص الخدمات

هذه صفحة مهمة جدا للمسؤولين.

هنا يمكنك تكوين الخصائص للمجموعة الخاصة بك لجعلها أكثر ملاءمة لحالات الاستخدام الخاصة بك.

كما سيكون لها بعض الخصائص المطلوبة مثل كلمة مرور Hive metastore (إذا تم تحديد الخلية) وما إلى ذلك ، سيتم الإشارة إلى هذه باستخدام رموز خطأ باللون الأحمر.

10. مراجعة وبدء التوفير

تأكد من مراجعة تكوين المجموعة قبل الإطلاق حيث سيؤدي ذلك إلى الحفظ من التكوينات الخاطئة التي تم تعيينها عن غير قصد.

11. إطلاق والبقاء مرة أخرى حتى تصبح الحالة خضراء.

الخطوات التالية

ياي! لقد نجحنا في تثبيت Hadoop وجميع المكونات على جميع عقد الكتلة. الآن يمكننا أن نبدأ اللعب مع Hadoop.

يقوم Ambari بتشغيل وظيفة MapReduce wordcount للتحقق مما إذا كان كل شيء يعمل بشكل جيد. دعنا نتحقق من سجل الوظيفة التي يديرها مستخدم أمباري- qa.

كما ترى في لقطة الشاشة أعلاه ، اكتملت مهمة WordCount بنجاح. هذا يؤكد أن مجموعتنا تعمل بشكل جيد.

خاتمة

هذا كل شيء ، لقد تعلمنا الآن كيفية تثبيت Hadoop ومكوناته على الكتلة متعددة العقد باستخدام أداة بسيطة قائمة على الويب تسمى Apache Ambari. يوفر لنا Apache Ambari واجهة أبسط ويوفر الكثير من جهودنا في التثبيت والمراقبة والإدارة والتي ستكون مملة للغاية مع العديد من المكونات وخطوات التثبيت المختلفة وعناصر التحكم في المراقبة.

اسمحوا لي أن أتركك مع الاختراق

يقوم برنامج Ambari Installer بفحص / etc / lsb-release للحصول على تفاصيل نظام التشغيل. في Linux Mint ، نفس الملف الخاص بإصدار Ubuntu موجود تحت / etc / upstream-release / lsb-release. لخداع برنامج التثبيت ، ما عليك سوى استبدال الأول بالأخير (يجب عمل نسخة احتياطية من الملف أولاً).

في مرحلة ما بعد انتهاء التثبيت ، يمكنك استعادة الأصل باستخدام:

ملاحظة : هذا اختراق بدون أي ضمانات ، لقد نجح معي لذلك فكرت في مشاركته معك.
أنت مطور / مطور وتحتاج إلى تثبيت Hadoop بسرعة. لدينا أخبار سارة لك ، يوفر Ambari طريقة يمكنك من خلالها تخطي عملية المعالج الكاملة وإكمال عملية التثبيت بنص واحد ، وسأقوم بإحضاره في المنشور التالي ، لذا ترقبوا وحتى ذلك الحين سعيد Hadooping!