CentOS/RHEL 7'de CDH Nasıl Kurulur ve Hizmet Yerleşimleri Nasıl Yapılandırılır - Bölüm 4
Daha önceki bir yazımızda Cloudera Manager kurulumunu anlatmıştık, bu yazımızda CDH'nin (Cloudera Distribution Hadoop) nasıl kurulacağını ve yapılandırılacağını 'da öğreneceksiniz. RHEL/CentOS 7.
CDH paketini kurarken Cloudera Manager ve CDH uyumluluğundan emin olmalıyız. Cloudera sürümü 3 bölümden oluşuyor –
Örneğin, Cloudera Manager 6.3.1 ve CDH 6.3.2 kullanıyoruz. Burada 6 majör, 3 ise minör versiyondur. Uyumluluk sorunlarını önlemek için Majör ve Minör aynı olmalıdır.
Gereksinimler
- Hadoop Sunucusunu CentOS/RHEL 7'de Dağıtmaya Yönelik En İyi Uygulamalar – Bölüm 1
- Hadoop Ön Koşullarını Kurma ve Güvenlik Güçlendirmesi – Bölüm 2
- CentOS/RHEL 7'de Cloudera Manager Nasıl Kurulur ve Yapılandırılır - Bölüm 3
CDH kurulumu için aşağıdaki 2 düğümü alacağız. Cloudera Manager'ı zaten master1'e yükledik, ayrıca master1'i repo sunucusu olarak kullanıyoruz.
master1.linux-console.net
worker1.linux-console.net
Adım 1: CDH Paketlerini Ana Sunucuya İndirin
1. Öncelikle ana1 sunucuya bağlanın ve /var/www/html/cloudera-repos/ dizinindeki CDH Parcels dosyalarını indirin. cdh dizini . RHEL/CentOS 7 ile uyumlu olması gereken aşağıda belirtilen 3 dosyayı indirmemiz gerekiyor.
CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel
CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1
manifest.json
2. Bu dosyaları indirmeden önce, /var/www/html/cloudera-repos/ konumu altında bir cdh dizini oluşturduğunuzdan emin olun.
cd /var/www/html/cloudera-repos/
sudo mkdir cdh
cd cdh
3. Daha sonra yukarıda belirtilen 3 dosyayı aşağıdaki wget komutunu kullanarak indirin.
sudo wget https://archive.cloudera.com/cdh6/6.3.2/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel
sudo wget https://archive.cloudera.com/cdh6/6.3.2/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1
sudo wget https://archive.cloudera.com/cdh6/6.3.2/parcels/manifest.json
2. Adım: Çalışan İstemcilerde Cloudera Manager Repo'yu Kurun
4. Şimdi çalışan sunuculara bağlanın ve repo dosyasını (cloudera-manager.repo) repo sunucusundan (master1<) kopyalayın.) kalan tüm çalışan sunucuya. Bu repo dosyası, sunucuların kurulum sırasında gerekli tüm paketlerin ve RPM'lerin repo sunucusundan indirilmesini sağlar.
cat >/etc/yum.repos.d/cloudera-manager.repo <<EOL
[cloudera-repo]
name=cloudera-manager
baseurl=http://104.211.95.96/cloudera-repos/cm6/
enabled=1
gpgcheck=0
EOL
5. Depo eklendikten sonra, cloudera-manager deposunun etkinleştirildiğinden emin olmak için etkin depoları listeleyin.
yum repolist
3. Adım: Cloudera Manager Daemon'larını ve Aracısını Çalışan Sunucularına Kurun
6. Şimdi, geri kalan tüm sunuculara cloudera-manager-daemons ve cloudera-manager-agent'ı kurmamız gerekiyor.
sudo yum install cloudera-manager-daemons cloudera-manager-agent
7. Ardından, Cloudera Manager sunucusunu raporlayacak şekilde Cloudera Manager aracısını yapılandırmanız gerekir.
sudo vi /etc/cloudera-scm-agent/config.ini
localhost'u Cloudera Manager sunucu IP adresiyle değiştirin.
8. Cloudera Manager Agent'ı başlatın ve durumu doğrulayın.
sudo systemctl start cloudera-scm-agent
sudo systemctl status cloudera-scm-agent
Adım 4: CDH'yi Kurun ve Kurun
Master1 – repo sunucusunda CDH paketlerimiz var. Cloudera Manager kullanarak otomatik kurulumu izlerseniz, tüm sunucuların /etc/yum.repos.d/ konumunda Cloudera Manager repo dosyasına sahip olduğundan emin olun.
9. Aşağıdaki URL'yi kullanarak 7180 bağlantı noktasından Cloudera Manager'da oturum açın ve Cloudera Manager'ın varsayılan kullanıcı adını ve şifresini kullanın.
http://104.211.95.96:7180/cmf/login
Username: admin
Password: admin
10. Giriş yaptığınızda, Hoş Geldiniz sayfasıyla karşılaşacaksınız. Burada Sürüm notlarını ve Cloudera Manager'ın Yeni Özelliklerini bulabilirsiniz.
11. Lisansı Kabul Edin ve Devam Edin.
12. Sürümü seçin. Deneme sürümü varsayılan olarak seçilmiştir, onunla devam edebiliriz.
13. Şimdi Küme Kurulumu adımlarını izleyin. Hoş Geldiniz Sayfasına devam edin.
14. Cluster'a isim verin ve devam edin, “tecmint” adını verdik. Tanımlayabileceğiniz 2 tip Cluster bulunmaktadır. Normal Küme ile devam ediyoruz.
- Normal Küme: Depolama düğümleri, bilgi işlem düğümleri ve diğer gerekli hizmetlerden oluşacaktır.
- İşlem Kümesi: Yalnızca işlem düğümlerinden oluşacaktır. Veri depolamak için harici depolama kullanılabilir.
15. Zaten tüm sunuculara Cloudera Manager Agent'ları yükledik. Bu sunucuları "Şu anda Yönetilen Ana Bilgisayarlar" bölümünde bulabilirsiniz. Otomatik kurulum için “Yeni Ana Bilgisayarlar” seçeneğine sunucuların FQDN'sini veya IP'sini girip arama yapmanız gerekmektedir. Cloudera Manager, CDH'yi kurmamız gereken ana bilgisayarları otomatik olarak algılayacaktır.
Burada “Şu Anda Yönetilen Ana Bilgisayarlar”ı tıklayın, ‘Ana Bilgisayar Adı’nı seçerek tüm ana bilgisayarları seçin ve devam edin.
16. Depoyu Seçin – önerilen yöntem Parsel'i kullanmaktır. Depoyu yapılandırmak için 'Diğer Seçenekler'i tıklayın.
17. Yerel depo URL'sini aşağıda belirtildiği gibi girin. Web'i işaret eden geri kalan tüm genel depoları kaldırın (Cloudera Repositories).
Bu, master1'de sahip olduğumuz CDH yerel depo URL'sidir.
http://104.211.95.96/cloudera-repos/cdh/
18. Depo URL'si girildiğinde, bu sayfa yalnızca mevcut parselleri gösterecektir. Bu adıma devam edin.
19. Artık paketler indiriliyor, dağıtılıyor, paketten çıkıyor ve mevcut tüm sunucularda etkinleştiriliyor.
20. CDH Paketleri Etkinleştirildikten sonra Kümeyi inceleyin. Bu adım, kümenin durum denetimini gerçekleştirecektir. Burada atlayıp devam ediyoruz.
Adım 5: Küme Yapılandırması
21. Burada Cluster'a yüklenecek Hizmetler'i seçmemiz gerekiyor. Bazı paketlenmiş kombinasyonlar varsayılan olarak mevcut olacak; biz Özel Hizmetler'i tercih edeceğiz.
22. Özel Hizmetler'de yalnızca Temel Bileşenler (HDFS ve YARN) kuruyoruz. >) bu demo amaçlı.
23. Rolleri sunucuya atayın. Gereksinimlerimize göre özelleştirebiliriz. Yüksek Kullanılabilirliğe sahip 5 ila 20 düğüm içeren temel küçük bir küme için önerilen Rol Dağıtımını açıklayan aşağıdaki tabloyu bulun.
24. Veritabanı türünü, ana bilgisayar adını, Veritabanı Adını, Kullanıcı Adını ve Parolayı seçin. Embedded PostgreSQL kullandığımız için varsayılan olarak seçilecektir. Bağlantıyı test edin, başarılı olması gerekir.
25. Bu sayfada, veri dizinleri de dahil olmak üzere HDFS ve Yarn'ın varsayılan yapılandırma parametreleri gösterilecektir. Tüm yapılandırma ayrıntılarını gözden geçirin ve gerekirse değişiklik yapabilirsiniz. Daha sonra bununla devam edin.
26. Bu sayfada 'İlk Çalıştır' komutunun ayrıntıları gösterilecektir. Çalıştırılan komutların ayrıntılarını görmek için genişletebilirsiniz. Kümede herhangi bir ağ veya izin sorunu varsa bu adım başarısız olur. Genellikle bu adım, Küme Binasının sorunsuz kurulumuna karar verir.
27. Yukarıdaki adım tamamlandıktan sonra kurulumu tamamlamak için 'Bitir'i tıklayın. Bu, CDH kurulduktan sonraki Cloudera Manager Kontrol Panelidir.
http://104.211.95.96:7180/cmf/home
Çözüm
Cloudera Manager ve CDH kurulumunu başarıyla tamamladık. Cloudera Manager Dashboard'da, Küme CPU'sunu, Disk GÇ'sini vb. izleyebileceğiniz önceden tanımlanmış bir dizi grafik bulabilirsiniz. Bu Cloudera Manager 'ı kullanarak Kümenin tamamını yönetebiliriz. . İlerleyen yazılarımızda tüm idari işlemleri göreceğiz.