Namenode için Yüksek Erişilebilirlik Nasıl Kurulur - Bölüm 5


Hadoop'un iki temel bileşeni vardır: HDFS ve YARN. HDFS, Verileri depolamak içindir, YARN ise Verileri işlemek içindir. HDFS, Hadoop Dağıtılmış Dosya Sistemidir, Ana Hizmet olarak Namenode'a ve Datanode'a sahiptir. Köle Hizmeti olarak.

Namenode, HDFS'de depolanan verilerin meta verilerini depolayan Hadoop'un kritik bileşenidir. Namenode arızalanırsa kümenin tamamına erişilemez; bu, tek hata noktasıdır (SPOF). Dolayısıyla üretim ortamı, makine arızası, planlı bakım etkinliği vb. gibi çeşitli nedenlerden dolayı bir Namenode'un arızalanması durumunda üretim kesintisini önlemek için Namenode High Availability'e sahip olacaktır.

Hadoop 2.x iki Ad Düğümü'ne sahip olabileceğimiz fizibiliteyi sağlar; biri Aktif Ad Düğümü ve diğeri Yedek Ad Düğümü olacaktır. .

  • Aktif Namenode – Tüm istemci işlemlerini yönetir.
  • Bekleme Ad DüğümüEtkin Ad Düğümü'nün yedeklidir. Active NN'in arızalanması durumunda Bekleme NN, Active NN'in tüm sorumluluğunu üstlenecektir.

Namenode High Availability'in etkinleştirilmesi, otomatik yük devretme için zorunlu olan Zookeeper'ı gerektirir. ZKFC (Zookeeper Yük Devretme Denetleyicisi), Namenode'un durumunu korumak için kullanılan bir Zookeeper istemcisidir.

Gereksinimler

  • Hadoop Sunucusunu CentOS/RHEL 7'de Dağıtmaya Yönelik En İyi Uygulamalar – Bölüm 1
  • Hadoop Ön Koşullarını Kurma ve Güvenlik Güçlendirmesi – Bölüm 2
  • CentOS/RHEL 7'de Cloudera Manager Nasıl Kurulur ve Yapılandırılır - Bölüm 3
  • CentOS/RHEL 7'de CDH Nasıl Kurulur ve Hizmet Yerleşimleri Nasıl Yapılandırılır – Bölüm 4

Bu makalede, Cloudera Manager'da Namenode High Availability'i etkinleştireceğiz.

Adım 1: Zookeeper Kurulumu

1. Cloudera Manager'da oturum açın.

http://Your-IP:7180/cmf/home

2. Küme (tecmint) eylem isteminde "Hizmet Ekle " seçeneğini seçin.

3.Zookeeper” hizmetini seçin.

4. Zookeeper'ı kuracağımız sunucuları seçin.

5. Zookeeper Yeter Sayısını oluşturmak için 3 Zookeeper'ımız olacak. Sunucuları aşağıda belirtildiği gibi seçin.

6. Zookeeper özelliklerini yapılandırın; burada varsayılan özellikleri kullanıyoruz. Gerçek zamanlı olarak, Zookeeper verilerini depolamak için ayrı dizin/bağlama noktalarınız olması gerekir. Bölüm-1'de her hizmete ilişkin depolama yapılandırmasını açıkladık. Devam etmek için 'devam et'i tıklayın.

7. Kurulum başlayacak, kurulduktan sonra Zookeeper başlatılacak. Arka plan işlemlerini burada görebilirsiniz.

8. Yukarıdaki adım başarıyla tamamlandıktan sonra Durum "Bitti" olacaktır.

9. Artık Zookeeper başarıyla Yüklendi ve Yapılandırıldı. 'Son'u tıklayın.

10. Zookeeper hizmetini Cloudera Manager Kontrol Panelinde görüntüleyebilirsiniz.

Adım 2: Namenode Yüksek Kullanılabilirliğini Etkinleştirme

11. Cloudera Manager'a gidin –> HDFS –> Eylemler –> Yüksek Kullanılabilirliği Etkinleştirin güçlü>.

12. Ad Hizmeti Adını "nameservice1 " olarak girin – Bu, hem Etkin hem de yedek Ad Düğümü için ortak bir Ad Alanıdır.

13. Beklemede Namenode'un bulunacağı İkinci Namenode'u seçin.

14. Burada beklemedeki Namenode için master2.linux-console.net'u seçiyoruz.

15. Günlük düğümlerini seçin; bunlar, Aktif ve Beklemedeki Ad Düğümü'nün senkronizasyonu için zorunlu hizmetlerdir.

16. Aşağıda belirtildiği gibi Journal düğümünü 3 sunucuya yerleştirerek Quorum Journal yapıyoruz. 3 sunucu seçin ve 'Tamam'ı tıklayın.

17. Devam etmek için 'Devam'ı tıklayın.

18. Günlük Düğümü dizin yolunu girin. Sadece bu dizini kurarken servisin kendisi tarafından otomatik olarak oluşturulacak yoldan bahsetmemiz gerekiyor. ‘/jn’ olarak bahsediyoruz. Devam etmek için 'Devam'ı tıklayın.

19. Yüksek Kullanılabilirlik'i etkinleştirmeye başlayacaktır.

20. Tüm arka plan işlemlerini tamamladıktan sonra 'Bitti' Durumunu alırız.

21. Son olarak 'Yüksek Kullanılabilirlik Başarıyla Etkinleştirildi' bildirimini alacağız. 'Bitir'i tıklayın.

22. Cloudera Manager –> HDFSAktif ve Bekleme Ad Noktası'nı doğrulayın. > –> Örnekler.

23. Burada iki Ad Düğümü oluşturabilirsiniz; biri 'Etkin' durumunda, diğeri ise 'Beklemede olacaktır. ' durumu.

Çözüm

Bu makalede, Namenode High Availability'i etkinleştirme sürecini adım adım inceledik. Gerçek zamanlı bir ortamda tüm kümelerde Namenode High Availability'e sahip olmanız önemle tavsiye edilir. Bu işlemi yaparken herhangi bir hatayla karşılaşırsanız lütfen şüphelerinizi iletin. Bir sonraki makalede Resource Manager High Availability'i göreceğiz.