Cara Menginstal Apache Kafka di Debian 10

Dalam tutorial ini, kami akan menunjukkan cara menginstal Apache Kafka di Debian 10. Bagi Anda yang belum tahu, Apache Kafka adalah platform streaming acara terdistribusi sumber terbuka yang digunakan oleh ribuan perusahaan untuk saluran data berkinerja tinggi, analitik streaming, integrasi data, dan aplikasi mission-critical.

Artikel ini mengasumsikan Anda memiliki setidaknya pengetahuan dasar tentang Linux, tahu cara menggunakan shell, dan yang terpenting, Anda meng-host situs Anda di VPS Anda sendiri. Instalasi cukup sederhana dan mengasumsikan Anda sedang berjalan di akun root, jika tidak, Anda mungkin perlu menambahkan 'sudo ' ke perintah untuk mendapatkan hak akses root. Saya akan menunjukkan kepada Anda melalui langkah-demi-langkah instalasi Apache Kafka pada Debian 10 (Buster).

Prasyarat

• Server yang menjalankan salah satu sistem operasi berikut:Debian 10 (Buster).
• Sebaiknya Anda menggunakan penginstalan OS baru untuk mencegah potensi masalah.
• Seorang non-root sudo user atau akses ke root user . Kami merekomendasikan untuk bertindak sebagai non-root sudo user , namun, karena Anda dapat membahayakan sistem jika tidak berhati-hati saat bertindak sebagai root.

Instal Apache Kafka di Debian 10 Buster

Langkah 1. Sebelum menjalankan tutorial di bawah ini, penting untuk memastikan sistem Anda mutakhir dengan menjalankan apt berikut perintah di terminal:

sudo apt update

Langkah 2. Menginstal Java.

Sekarang instal Java menggunakan perintah di bawah ini:

sudo apt install default-jdk

Verifikasi versi Java dengan menjalankan perintah berikut:

java -version

Langkah 3. Menginstal Apache Kafka di Debian 10.

Sekarang kita jalankan perintah berikut untuk mengunduh paket Apache Kafka dari situs resminya:

wget https://downloads.apache.org/kafka/2.8.0/kafka_2.12-2.8.0.tgz

Kemudian, ekstrak file arsip yang diunduh:

tar xzf kafka_2.12-2.8.0.tgz
mv kafka_2.12-2.8.0 /usr/local/kafka

Langkah 4. Buat File Unit Systemd.

Sekarang kita membuat systemd file unit untuk layanan Zookeeper dan Kafka. Ini akan membantu mengelola layanan Kafka untuk memulai atau berhenti menggunakan systemctl perintah:

nano /etc/systemd/system/zookeeper.service

Tambahkan file berikut:

[Unit]
Description=Apache Zookeeper server
Documentation=http://zookeeper.apache.org
Requires=network.target remote-fs.target
After=network.target remote-fs.target

[Service]
Type=simple
ExecStart=/usr/local/kafka/bin/zookeeper-server-start.sh /usr/local/kafka/config/zookeeper.properties
ExecStop=/usr/local/kafka/bin/zookeeper-server-stop.sh
Restart=on-abnormal

[Install]
WantedBy=multi-user.target

Selanjutnya, untuk membuat systemd Kafka file unit menggunakan perintah berikut:

nano /etc/systemd/system/kafka.service

Tambahkan konten di bawah ini:

[Unit]
Description=Apache Kafka Server
Documentation=http://kafka.apache.org/documentation.html
Requires=zookeeper.service

[Service]
Type=simple
Environment="JAVA_HOME=/usr/lib/jvm/java-1.11.0-openjdk-amd64"
ExecStart=/usr/local/kafka/bin/kafka-server-start.sh /usr/local/kafka/config/server.properties
ExecStop=/usr/local/kafka/bin/kafka-server-stop.sh

[Install]
WantedBy=multi-user.target

Simpan file dan muat ulang systemd daemon untuk menerapkan perubahan baru:

sudo systemctl daemon-reload
sudo systemctl start zookeeper
sudo systemctl start kafka

Langkah 5. Buat Topik di Kafka.

Pertama, buat topik bernama “MakeTopic” dengan satu partisi dengan satu replika:

cd /usr/local/kafka
bin/kafka-maketopics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic MakeTopic

Setelah itu, Anda dapat melihat topik yang dibuat di Kafka dengan menjalankan perintah di bawah ini:

$ bin/kafka-maketopics.sh --list --zookeeper localhost:2181
MakeTopic

Langkah 6. Kirim Pesan ke Kafka.

Sekarang kita menjalankan produser dan kemudian mengetik beberapa pesan ke konsol untuk dikirim ke server:

$ bin/kafka-console-producer.sh --broker-list localhost:9092 --topic MakeTopic

>Welcome to kafka
>This is my first topic
>

Langkah 7. Menggunakan Konsumen Kafka.

Apache Kafka juga memiliki konsumen baris perintah untuk membaca data dari klaster Kafka dan menampilkan pesan ke output standar.

$ bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic MakeTopic --from-beginning

Welcome to kafka
This is my first topic

Selamat! Anda telah berhasil menginstal Apache Kafka. Terima kasih telah menggunakan tutorial ini untuk menginstal versi terbaru Apache Kafka pada sistem Debian. Untuk bantuan tambahan atau informasi berguna, kami sarankan Anda memeriksa situs web resmi Apache Kafka.