Cara Instal Apache Kafka di CentOS 8

Dalam tutorial ini, kami akan menunjukkan cara menginstal Apache Kafka di CentOS 8. Bagi Anda yang belum tahu, Apache Kafka adalah agen pesan terdistribusi yang dirancang untuk menangani volume besar informasi real-time secara efektif Tidak seperti agen tradisional seperti ActiveMQ dan RabbitMQ, Kafka berfungsi sebagai sekumpulan satu atau lebih server yang membuatnya sangat skalabel dan karena sifatnya yang terdistribusi, Kafka memiliki toleransi kesalahan bawaan sambil memberikan throughput yang lebih besar jika dibandingkan dengan rekanan.

Artikel ini mengasumsikan Anda memiliki setidaknya pengetahuan dasar tentang Linux, tahu cara menggunakan shell, dan yang terpenting, Anda meng-host situs Anda di VPS Anda sendiri. Instalasi cukup sederhana dan mengasumsikan Anda sedang berjalan di akun root, jika tidak, Anda mungkin perlu menambahkan 'sudo ' ke perintah untuk mendapatkan hak akses root. Saya akan menunjukkan kepada Anda langkah demi langkah instalasi Apache Kafka di server CentOS 8.

Prasyarat

• Server yang menjalankan salah satu sistem operasi berikut:CentOS 8.
• Sebaiknya Anda menggunakan penginstalan OS baru untuk mencegah potensi masalah.
• Seorang non-root sudo user atau akses ke root user . Kami merekomendasikan untuk bertindak sebagai non-root sudo user , namun, karena Anda dapat membahayakan sistem jika tidak berhati-hati saat bertindak sebagai root.

Instal Apache Kafka di CentOS 8

Langkah 1. Pertama, mari kita mulai dengan memastikan sistem Anda mutakhir.

sudo dnf update

Langkah 2. Menginstal Java.

Apache Kafka membutuhkan Java untuk diinstal pada server Anda. Anda dapat menginstal OpenJDK pada mesin Anda dengan menjalankan perintah berikut:

sudo dnf install java-11-openjdk

Verifikasi versi Java dengan menjalankan perintah berikut:

java -version

Langkah 3. Menginstal Apache Kafka di CentOS 8.

Pertama, unduh dan ekstrak Kafka dari situs web Apache. Anda dapat menggunakan wget untuk mengunduh Kafka:

wget http://www-us.apache.org/dist/kafka/2.4.0/kafka_2.13-2.4.0.tgz

Kemudian ekstrak file arsip:

tar xzf kafka_2.13-2.4.0.tgz
mv kafka_2.13-2.4.0 /usr/local/kafka

Langkah 4. Siapkan File Unit Kafka Systemd.

Pertama, buat systemd file unit untuk Zookeeper dengan perintah di bawah ini:

nano /etc/systemd/system/zookeeper.service

Tambahkan konten di bawah ini:

[Unit]
Description=Apache Zookeeper server
Documentation=http://zookeeper.apache.org
Requires=network.target remote-fs.target
After=network.target remote-fs.target

[Service]
Type=simple
ExecStart=/usr/local/kafka/bin/zookeeper-server-start.sh /usr/local/kafka/config/zookeeper.properties
ExecStop=/usr/local/kafka/bin/zookeeper-server-stop.sh
Restart=on-abnormal

[Install]
WantedBy=multi-user.target

Kemudian, untuk membuat systemd Kafka file unit menggunakan perintah berikut:

nano /etc/systemd/system/kafka.service

Tambahkan konten di bawah ini:

[Unit]
Description=Apache Kafka Server
Documentation=http://kafka.apache.org/documentation.html
Requires=zookeeper.service

[Service]
Type=simple
Environment="JAVA_HOME=/usr/lib/jvm/jre-11-openjdk"
ExecStart=/usr/local/kafka/bin/kafka-server-start.sh /usr/local/kafka/config/server.properties
ExecStop=/usr/local/kafka/bin/kafka-server-stop.sh

[Install]
WantedBy=multi-user.target

Muat ulang systemd daemon untuk menerapkan perubahan:

systemctl daemon-reload

Langkah 5. Mulai Server Kafka.

Kafka membutuhkan ZooKeeper jadi pertama-tama, mulai server ZooKeeper di sistem Anda:

sudo systemctl start zookeeper

Selanjutnya, mulai server Kafka dan lihat status berjalan:

sudo systemctl start kafka
sudo systemctl status kafka

Langkah 6. Membuat Topik di Apache Kafka.

"Produser" adalah proses yang bertanggung jawab untuk memasukkan data ke dalam Kafka kami. Kafka dilengkapi dengan klien baris perintah yang akan mengambil input dari file atau dari standar masukan dan kirimkan sebagai pesan ke cluster Kafka:

cd /usr/local/kafka
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic testTopic

Created topic NewTopic.

Anda dapat membuat beberapa topik dengan menjalankan perintah yang sama seperti di atas. Setelah itu, Anda dapat melihat topik yang dibuat di Kafka dengan menjalankan perintah di bawah ini:

bin/kafka-topics.sh --list --zookeeper localhost:2181

NewTopic
KafkaonCentOS8
KafkaonCentOS8

Langkah 7. Produsen dan Konsumen Apache Kafka.

Mari kita jalankan produser lalu ketik beberapa pesan ke konsol untuk dikirim ke server:

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic NewTopic

>Welcome to kafka
>This is my new topic
>

Kafka juga memiliki konsumen baris perintah untuk membaca data dari klaster Kafka dan menampilkan pesan ke output standar:

bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic NewTopic --from-beginning

Welcome to kafka
This is my new topic

Selamat! Anda telah berhasil menginstal Apache Kafka. Terima kasih telah menggunakan tutorial ini untuk menginstal Apache Kafka di sistem CentOS 8. Untuk bantuan tambahan atau informasi berguna, kami menyarankan Anda untuk memeriksa situs resmi Apache Kafka .