Ambari Kullanarak Hadoop Kurulumu

Ambari Kullanarak Hadoop Kurulumu hakkında bilmek istediğiniz her şey

Apache Hadoop, güvenilir, ölçeklenebilir, dağıtılmış ve büyük ölçekli bilgi işlem için fiili bir yazılım çerçevesi haline geldi. Diğer bilgi işlem sistemlerinden farklı olarak, hesaplamaya veri göndermek yerine hesaplamayı verilere getirir. Hadoop, 2006 yılında Yahoo'da Doug Cutting tarafından Google tarafından yayınlanan bir makaleye dayanarak oluşturuldu. Hadoop olgunlaştıkça, kullanılabilirliğini ve işlevselliğini geliştirmek için yıllar içinde ekosistemine birçok yeni bileşen ve araç eklendi. Hadoop HDFS, Hadoop MapReduce, Hive, HCatalog, HBase, ZooKeeper, Oozie, Pig, Sqoop vb.

Neden Ambari?

Hadoop'un artan popülaritesi ile birçok geliştirici, bu teknolojinin tadına bakmak için bu teknolojiye atlıyor. Ama dedikleri gibi, Hadoop korkaklara göre değil, birçok geliştirici Hadoop'u kurmanın önündeki engeli bile aşamadı. Birçok dağıtım, bir şeyleri denemek için önceden yüklenmiş sanal makine sanal alanı sunar, ancak size dağıtılmış bilgi işlem hissi vermez. Bununla birlikte, bir çoklu düğüm kurmak kolay bir iş değildir ve artan sayıda bileşenle birlikte bu kadar çok konfigürasyon parametresini işlemek çok zordur. Neyse ki Apache ambarı kurtarmaya geliyor!

ambar nedir?

Apache ambarı, Apache Hadoop kümelerini sağlamak, yönetmek ve izlemek için web tabanlı bir araçtır. Ambari, ısı haritaları gibi küme sağlığını ve MapReduce, Pig ve Hive uygulamalarını görsel olarak görüntüleme yeteneği ve performans özelliklerini kullanıcı dostu bir şekilde tanılama özellikleri için bir gösterge panosu sağlar. Çeşitli araçları kurmak ve çeşitli yönetim, yapılandırma ve izleme görevlerini gerçekleştirmek için çok basit ve etkileşimli bir kullanıcı arayüzüne sahiptir. Aşağıda, Hadoop'u ve çok düğümlü kümede çeşitli ekosistem bileşenlerini kurmanın çeşitli adımlarını gösteriyoruz.

Ambari mimarisi aşağıda gösterilmiştir

Ambari'nin iki bileşeni var

1. Ambari sunucusu – Bu, kümeye katılan her düğümde kurulu ambarı aracılarıyla iletişim kuran ana işlemdir. Bu, kümeyle ilgili tüm meta verileri korumak için kullanılan postgres veritabanı örneğine sahiptir.
2. Ambari Aracısı – Bunlar, her düğümde ambarı için hareket eden aracılardır. Her aracı, farklı ölçümler, kurulu hizmet durumu ve daha birçok şeyle birlikte periyodik olarak kendi sağlık durumunu gönderir. Göre usta bir sonraki eyleme karar verir ve harekete geçmesi için aracıya geri iletir.

Ambari nasıl kurulur?

Ambari kurulumu birkaç komuttan oluşan bir iştir.

Ambari kurulumunu ve küme kurulumunu ele alacağız. 4 düğümümüz olduğu varsayılmaktadır. Düğüm1, Düğüm2, Düğüm3 ve Düğüm4. Ve ambarı sunucumuz olarak Node1'i seçiyoruz.

Bunlar, debian için RHEL tabanlı sistemdeki kurulum adımlarıdır ve diğer sistem adımları çok az farklılık gösterecektir.

1. Ambari'nin Kurulumu: –

Ambari sunucu düğümünden (karar verdiğimiz gibi Düğüm 1)

i. Ambari genel deposunu indirin

Bu komut, Hortonworks ambarı deposunu, RHEL sistemleri için varsayılan bir paket yöneticisi olan yum'a ekleyecektir.

ii.ambarı RPMS'yi yükleyin

Bu biraz zaman alacak ve ambarı bu sisteme yükleyecektir.

iii. ambarı sunucusunu yapılandırma
Ambari kurulumundan sonra yapılacak bir sonraki şey, ambarı yapılandırmak ve kümeyi sağlamak için ayarlamaktır.
Aşağıdaki adım bununla ilgilenecek

iv. Sunucuyu başlatın ve web kullanıcı arayüzüne giriş yapın

ile sunucuyu başlatın

Artık ambarı web kullanıcı arayüzüne (8080 bağlantı noktasında barındırılan) erişebiliriz.

Varsayılan kullanıcı adı "admin" ve varsayılan şifre "admin" ile ambarı'da oturum açın

Hadoop kümesini kurma

1. Açılış sayfası

Küme kurulumunu başlatmak için “Kurulum Sihirbazını Başlat”a tıklayın

2. Küme Adı

Kümenize iyi bir isim verin.

Not: Bu sadece küme için basit bir isimdir, o kadar önemli değildir, bu yüzden endişelenmeyin ve onun için herhangi bir isim seçin.

3. Yığın seçimi

Bu sayfa kurulabilecek yığınları listeler. Her yığın, Hadoop ekosistem bileşeniyle önceden paketlenmiştir. Bu yığınlar Hortonworks'ten. (Sade Hadoop'u da kurabiliriz. Bunu sonraki yazılarda ele alacağız).

4.Host Girişi ve SSH anahtar girişi

Bu adımı ilerletmeden önce, katılan tüm düğümler için parolasız SSH kurulumuna sahip olmalıyız.

Düğümlerin ana bilgisayar adlarını, her satırda tek giriş olacak şekilde ekleyin. [ hostname –f komutuyla elde edilebilecek FQDN'yi ekleyin]. Şifresiz SSH kurarken kullanılan özel anahtarı ve hangi özel anahtarın oluşturulduğu kullanılarak kullanıcı adını seçin.

5. Ev sahibi kayıt durumu

Gerçekleştirilen bazı işlemleri görebilirsiniz, bu işlemler her bir düğümde ambarı-agent'ı ayarlamayı, her bir düğümde temel kurulumları oluşturmayı içerir. TÜM YEŞİL'i gördüğümüzde, devam etmeye hazırız. Bazen bu, birkaç paket yüklediği için zaman alabilir.

6. Yüklemek istediğiniz hizmetleri seçin

3. adımda seçilen yığınlara göre kümeye yükleyebileceğimiz sayıda hizmete sahibiz. İstediğinizi seçebilirsiniz. Ambari, siz seçmediyseniz, bağımlı hizmetleri akıllıca seçer. Örneğin, HBase'i seçtiniz, ancak Zookeeper'ı seçmediniz, aynı uyarıyı verecek ve kümeye Zookeeper'ı da ekleyecektir.

7. Düğümlerle ana hizmet eşlemesi

Bildiğiniz gibi Hadoop ekosisteminde master-slave mimarisine dayalı araçlar bulunmaktadır. Bu adımda, ana süreçleri düğümle ilişkilendireceğiz. Burada kümenizi doğru şekilde dengelediğinizden emin olun. Ayrıca Namenode ve ikincil Namenode gibi birincil ve ikincil hizmetlerin aynı makinede olmadığını unutmayın.

8. Düğümlerle Köle Eşlemesi

Master'lara benzer şekilde, düğümlerdeki bağımlı hizmetleri eşleyin. Genel olarak, tüm düğümlerin en azından Datanode'lar ve Nodemanager'lar için çalışan bir bağımlı süreci olacaktır.

9. Hizmetleri özelleştirin

Bu Adminler için çok önemli bir sayfadır.

Burada, kümenizin özelliklerini, kullanım durumlarınıza en uygun hale getirmek için yapılandırabilirsiniz.

Ayrıca Hive metastore şifresi (eğer Hive seçilmişse) vb. gibi bazı gerekli özelliklere sahip olacaktır. Bunlar, semboller gibi Kırmızı hata ile gösterilecektir.

10. Gözden geçirin ve temel hazırlığı başlatın

Başlatmadan önce küme yapılandırmasını gözden geçirdiğinizden emin olun, çünkü bu, bilmeden ayarlanmış yanlış yapılandırmalardan kurtaracaktır.

11. Başlatın ve durum YEŞİL olana kadar geride kalın.

Sonraki adımlar

Evet! Hadoop'u ve tüm bileşenleri kümenin tüm düğümlerine başarıyla yükledik. Artık Hadoop ile oynamaya başlayabiliriz.

Ambari, her şeyin yolunda gittiğini doğrulamak için bir MapReduce wordcount işi çalıştırır. İşi ambari-qa kullanıcısı tarafından çalıştırılan günlüğü kontrol edelim.

Yukarıdaki ekran görüntüsünde de görebileceğiniz gibi WordCount işi başarıyla tamamlandı. Bu, kümemizin iyi çalıştığını doğrular.

Çözüm

İşte bu kadar, Hadoop'u ve bileşenlerini Apache ambarı adlı basit bir web tabanlı aracı kullanarak çok düğümlü kümeye nasıl kuracağımızı öğrendik. Apache ambarı bize daha basit bir arayüz sağlar ve bu kadar çok bileşen ve bunların farklı kurulum adımları ve izleme kontrolleri ile çok sıkıcı olacak olan kurulum, izleme ve yönetim konusundaki çabalarımızın çoğunu kurtarır.

Sizi bir hack ile baş başa bırakayım

Ambari Yükleyici, işletim sistemi ayrıntılarını almak için /etc/lsb-release'i kontrol eder. Linux Mint'te, Ubuntu sürümü için aynı dosya /etc/upstream-release/lsb-release altında. Yükleyiciyi kandırmak için, ilkini ikincisiyle değiştirin (Önce dosyayı yedeklemelisiniz).

Yüklemeniz tamamlandıktan bir noktada, orijinali aşağıdakilerle geri yükleyebilirsiniz:

Not : Bu herhangi bir garantisi olmayan bir hack, bende işe yaradı, bu yüzden sizinle paylaşmayı düşündüm.
Bir geliştirici/geliştiricisiniz ve Hadoop'u hızlı bir şekilde yüklemeniz gerekiyor. Size güzel bir haberimiz var, ambarı tüm sihirbaz sürecini ve tamamlanmış kurulum sürecini tek bir komut dosyası ile atlayabileceğiniz bir yol sunuyor ve bir sonraki gönderide getireceğim, bu yüzden bizi izlemeye devam edin ve o zamana kadar Mutlu Hadooping!