CentOS/RHEL 7'de Apache Kafka Nasıl Kurulur
Apache Kafka, BigData projelerinde ve Veri Analitiği yaşam döngüsünde yaygın olarak kullanılan güçlü bir mesajlaşma motorudur. Gerçek zamanlı veri akışı boru hatları oluşturmak için açık kaynaklı bir platformdur. Güvenilirlik, Ölçeklenebilirlik ve Dayanıklılığa sahip dağıtılmış bir yayınlama-abone olma platformudur.
Kafka'yı tek başına veya küme olarak alabiliriz. Kafka akış verilerini saklar ve bu veriler Konular olarak kategorize edilebilir. Konu, isteğe bağlı miktarda veriyi işleyebilmesi için bir dizi bölüme sahip olacaktır. Ayrıca HDFS'de olduğu gibi hataya dayanıklı birden fazla kopyaya sahip olabiliriz. Kafka kümesinde aracı, yayınlanan verileri depolayan bir bileşendir.
Zookeeper, Kafka aracılarının koordinasyonunu yönetmek için kullanıldığından Kafka kümesini çalıştırmak için zorunlu bir hizmettir. Zookeeper, tüm komisyoncuların durumunun korunmasından sorumlu olduğu üretici ve tüketici arasında önemli bir rol oynamaktadır.
Bu makalede Apache Kafka'nın tek düğümde CentOS 7 veya RHEL 7'ye nasıl kurulacağını açıklayacağız.
Apache Kafka'nın CentOS 7'ye Kurulumu
1. Öncelikle Apache Kafka'yı hatasız çalıştırmak için sisteminize Java yüklemeniz gerekir. Bu nedenle, aşağıdaki yum komutunu kullanarak Java'nın varsayılan kullanılabilir sürümünü yükleyin ve gösterildiği gibi Java sürümünü doğrulayın.
yum -y install java-1.8.0-openjdk
java -version
2. Ardından, Apache Kafka'nın en son kararlı sürümünü resmi web sitesinden indirin veya doğrudan indirip çıkarmak için aşağıdaki wget komutunu kullanın.
wget https://mirrors.estointernet.in/apache/kafka/2.7.0/kafka_2.13-2.7.0.tgz
tar -xzf kafka_2.13-2.7.0.tgz
3. kafka paketi için sembolik bir bağlantı oluşturun, ardından Kafka ortam yolunu .bash_profile
dosyasına ekleyin ve ardından gösterildiği gibi başlatın.
ln -s kafka_2.13-2.7.0 kafka
echo "export PATH=$PATH:/root/kafka_2.13-2.7.0/bin" >> ~/.bash_profile
source ~/.bash_profile
4. Ardından, Kafka paketiyle yerleşik olarak gelen Zookeeper'ı başlatın. Tek düğümlü bir küme olduğundan zookeeper'ı varsayılan özelliklerle başlatabilirsiniz.
zookeeper-server-start.sh -daemon /root/kafka/config/zookeeper.properties
5. Zookeeper'ın erişilebilir olup olmadığını telnet ile Zookeeper bağlantı noktası 2181'e giderek doğrulayın.
telnet localhost 2181
6. Kafka'yı varsayılan özellikleriyle başlatın.
kafka-server-start.sh -daemon /root/kafka/config/server.properties
7. Kafka'nın erişilebilir olup olmadığını Kafka bağlantı noktası 9092'ye telnet yoluyla doğrulayın
telnet localhost 9092
8. Ardından örnek bir konu oluşturun.
kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic tecmint
9. Oluşturulan konuyu listeleyin.
kafka-topics.sh --zookeeper localhost:2181 --list
Çözüm
Bu makalede, CentOS 7'de Tek düğümlü Kafka kümesinin nasıl kurulacağını gördük. Bir sonraki makalede çok düğümlü Kafka Cluster'ın nasıl kurulacağını göreceğiz.