Hadoop Sunucusunu CentOS/RHEL 7'de Dağıtmaya Yönelik En İyi Uygulamalar - Bölüm 1

Bu makale serisinde, Cloudera Hadoop Cluster Building binasının tamamını Satıcı ve Endüstriyel tarafından önerilen en iyi uygulamalarla ele alacağız.

İşletim Sistemi kurulumu ve İşletim Sistemi düzeyinde yapılması Ön koşullar, Hadoop Kümesi oluşturmanın ilk adımlarıdır. Hadoop, Linux platformunun çeşitli türlerinde çalışabilir: CentOS, RedHat, Ubuntu, Debian<, SUSE vb., Gerçek zamanlı üretimde, Hadoop Kümelerinin çoğu RHEL/CentOS üzerine kuruludur. Bu eğitim serisinde gösterim için CentOS 7 kullanılacaktır.

Bir Kuruluşta işletim sistemi kurulumu kickstart kullanılarak yapılabilir. 3-4 düğümlü bir küme ise manuel kurulum mümkündür ancak 10'dan fazla düğümlü büyük bir küme oluşturursak OS'yi tek tek kurmak sıkıcı olur. Bu senaryoda Kickstart yöntemi devreye giriyor, kickstart kullanarak toplu kuruluma geçebiliyoruz.

Hadoop Ortamından iyi performans elde etmek, doğru Donanım ve Yazılımın sağlanmasına bağlıdır. Bu nedenle, bir üretim Hadoop kümesi oluşturmak, Donanım ve Yazılımla ilgili birçok hususun dikkate alınmasını gerektirir.

Bu makalede, işletim sistemi kurulumuyla ilgili çeşitli Karşılaştırmaları ve CentOS/RHEL 7'de Cloudera Hadoop Cluster Server'ı dağıtmaya yönelik bazı en iyi uygulamaları inceleyeceğiz.

Hadoop Sunucusunun Dağıtımına İlişkin Önemli Hususlar ve En İyi Uygulamalar

Aşağıda, Cloudera Hadoop Cluster Server'ın CentOS/RHEL 7'de dağıtımını kurmaya yönelik en iyi uygulamalar yer almaktadır.

  • Hadoop sunucuları, küme oluşturmak için kurumsal standart sunuculara ihtiyaç duymaz; ticari donanım gerektirir.
  • Üretim kümesinde 8 ila 12 veri diskinin bulunması önerilir. İş yükünün niteliğine göre buna karar vermemiz gerekiyor. Küme yoğun bilgi işlem uygulamalarına yönelikse, G/Ç sorunlarını önlemek için 4 ila 6 sürücüye sahip olmak en iyi uygulamadır.
  • Veri sürücüleri, örneğin /data01'den başlayarak /data10'a kadar ayrı ayrı bölümlendirilmelidir.
  • Hadoop'un kendisi blokları varsayılan olarak 3'e kopyalayarak veriler üzerinde hata toleransı sağladığından, çalışan düğümler için RAID yapılandırması önerilmez. Bu nedenle JBOD, çalışan düğümler için en iyisidir.
  • Ana Sunucular için RAID 1 en iyi uygulamadır.
  • CentOS/RHEL 7.x'teki varsayılan dosya sistemi XFS'dir. Hadoop, XFS, ext3 ve ext4'ü destekler. Önerilen dosya sistemi, iyi performans açısından test edildiği için ext3'tür.
  • Tüm sunucular aynı işletim sistemi sürümüne, en azından aynı küçük sürüme sahip olmalıdır.
  • Homojen donanıma sahip olmak en iyi uygulamadır (tüm çalışan düğümler aynı donanım özelliklerine (RAM, disk alanı ve Çekirdek vb.) sahip olmalıdır).
  • Küme iş yüküne (Dengeli İş Yükü, Yoğun Bilgi İşlem, Yoğun G/Ç) ve boyuta göre sunucu başına kaynak (RAM, CPU) planlaması farklılık gösterecektir.

24TB depolamaya sahip sunucuların Disk Bölümlendirmesi için aşağıdaki Örneği bulun.

Hadoop Sunucu Dağıtımı için CentOS 7'yi Yükleme

Hadoop Sunucusu için CentOS 7 sunucusunu kurmadan önce bilmeniz gerekenler.

  • Hadoop Sunucuları (çalışan düğümleri) için minimum kurulum yeterlidir; bazı durumlarda GUI yalnızca Web kullanıcı arayüzleri için tarayıcıları kullanabileceğimiz Ana sunucular veya Yönetim sunucuları için kurulabilir. Yönetim araçları.
  • Ağların, ana bilgisayar adının ve işletim sistemiyle ilgili diğer ayarların yapılandırılması, işletim sistemi kurulumundan sonra yapılabilir.
  • Gerçek zamanlı olarak, sunucu satıcıları sunucularla etkileşimde bulunmak ve sunucuları yönetmek için kendi konsollarına sahip olacaklar; örneğin Dell sunucuları, sunuculara gömülü bir aygıt olan iDRAC'a sahip olacak. Bu iDRAC arayüzünü kullanarak, yerel sistemimizde bir işletim sistemi görüntüsüne sahip işletim sistemi yükleyebiliriz.

Bu yazımızda VMware sanal makinesine işletim sistemi (CentOS 7) kurulumu gerçekleştirdik. Burada bölümleri gerçekleştirmek için birden fazla diskimiz olmayacak. CentOS, RHEL'e benzer (aynı işlevsellik), dolayısıyla CentOS'u yükleme adımlarını göreceğiz.

1. CentOS 7.x ISO görüntüsünü yerel Windows sisteminize indirerek başlayın ve sanal makineyi başlatırken onu seçin. Gösterildiği gibi 'CentOS 7'yi Yükle'yi seçin.

2. Dil'i seçin, varsayılan İngilizce olacaktır ve devam'ı tıklayın.

3. Yazılım Seçimi – 'Minimum Kurulum'u seçin ve 'Bitti'yi tıklayın.

4. Kök şifreyi ayarlamamızı isteyecek şekilde ayarlayın.

5. Kurulum Hedefi – Bu, dikkatli olunması gereken önemli bir adımdır. İşletim sisteminin kurulacağı diski seçmemiz gerekiyor, işletim sistemi için özel disk seçilmelidir. 'Kurulum Hedefi'ni tıklayın ve Diski seçin; gerçek zamanlı olarak birden fazla disk orada olacaktır; tercih edilen 'sda'yı seçmemiz gerekir.

6. Diğer Depolama Seçenekleri – İşletim sistemiyle ilgili bölümlemeyi /var, / gibi yapılandırmak için ikinci seçeneği seçin (bölümlemeyi yapılandıracağım) var/log, /home, /tmp, /opt, /swap.

7. Bittiğinde kuruluma başlayın.

8. Kurulum tamamlandıktan sonra sunucuyu yeniden başlatın.

9. Sunucuda oturum açın ve ana bilgisayar adını ayarlayın.

hostnamectl status
hostnamectl set-hostname tecmint
hostnamectl status

Özet

Bu makalede işletim sistemi kurulum adımlarını ve dosya sistemi bölümlendirmeye yönelik en iyi uygulamaları inceledik. Bunların hepsi genel yönergelerdir; iş yükünün niteliğine göre, kümenin en iyi performansını elde etmek için daha fazla nüansa odaklanmamız gerekebilir. Küme planlama Hadoop yöneticisinin sanatıdır. Bir sonraki makalede işletim sistemi düzeyindeki ön koşullar ve güvenlik güçlendirmeyi derinlemesine inceleyeceğiz.