Cara Menginstal dan Mengkonfigurasi Apache Kafka di Ubuntu 20.04

Pengantar

Apache Kafka adalah platform streaming acara terdistribusi yang memiliki kemampuan untuk menangani saluran data berkinerja tinggi. Ini awalnya dikembangkan oleh Linkedin kemudian untuk publik sebagai platform open-source dan digunakan oleh banyak perusahaan IT di dunia.

Artikel ini akan menunjukkan cara menginstal dan mengkonfigurasi Kafka di Ubuntu 20.04.

Menginstal Apache Kafka

Prasyarat

Apache Kafka membutuhkan Java untuk diinstal pada mesin Ubuntu 20.04 Anda. Pertama, mari perbarui OS Anda dengan perintah berikut:

$ sudo apt update

Setelah OS diperbarui, lanjutkan untuk menginstal Java:

$ sudo apt install openjdk-11-jre-headless

Memverifikasi bahwa Java berhasil diinstal dengan menjalankan:

$ java --version

Keluaran:

Mengunduh Kafka

Selanjutnya, Anda harus mengunduh sumber Kafka ke Ubuntu 20.04 Anda. Sangat disarankan untuk mengunduhnya dari situs resmi Apache Kafka:https://kafka.apache.org/downloads

Pada saat penulisan artikel ini, versi terbaru adalah 2.7.0. Anda dapat mengunduhnya dengan perintah berikut:

$ cd $HOME

$ wget https://downloads.Apache.org/kafka/2.7.0/kafka-2.7.0-src.tgz

Mari kita buat folder baru bernama kafka-server di direktori /usr/local:

$ sudo mkdir /usr/local/kafka-server

Kemudian ekstrak sumber Kafka yang diunduh ke direktori /usr/local/kafka-server:

$ sudo tar xf $HOME/kafka-2.7.0-src.tgz -C /usr/local/kafka-server

Anda sudah memiliki file biner Apache Kafka yang diekstraksi. Cantumkan file-file ini dengan menjalankan:

$ ls /usr/local/kafka-server/kafka-2.7.0-src/bin/

Keluaran:

Sekarang, saatnya membuat Kafka dan Zookeeper berjalan sebagai daemon di Ubuntu 20.04. Untuk melakukan ini, Anda harus membuat file unit Systemd untuk Kafka dan Zookeeper.

Membuat file Unit Systemd untuk Kafka dan Zookeeper

Gunakan editor favorit Anda dan buat dua file sebagai berikut:

/etc/systemd/system/zookeeper.service

[Unit]Description=Apache Zookeeper ServerRequires=network.target remote-fs.targetAfter=network.target remote-fs.target[Service]Type=simpleExecStart=/usr/local/kafka-server/kafka-2.7.0 -src/bin/zookeeper-server-start.sh /usr/local/kafka-server/kafka-2.7.0-src/config/zookeeper.propertiesExecStop=/usr/local/kafka-server/kafka-2.7.0- src/bin/zookeeper-server-stop.shRestart=on-abnormal[Install]WantedBy=multi-user.target

/etc/systemd/system/kafka.service

[Unit]Description=Apache Kafka ServerDocumentation=http://kafka.Apache.org/documentation.htmlRequires=zookeeper.serviceAfter=zookeeper.service[Service]Type=simpleEnvironment="JAVA_HOME=/usr/lib/jvm/ java-11-openjdk-amd64"ExecStart=/usr/local/kafka-server/kafka-2.7.0-src/bin/kafka-server-start.sh /usr/local/kafka-server/kafka-2.7.0 -src/config/server.propertiesExecStop=/usr/local/kafka-server/kafka-2.7.0-src/bin/kafka-server-stop.shRestart=on-abnormal[Install]WantedBy=multi-pengguna.target 

 Untuk menerapkan perubahan, daemon systemd perlu dimuat ulang dan Anda juga harus mengaktifkan layanan.
 
$ sudo systemctl daemon-reload$ sudo systemctl enable --now zookeeper.service$ sudo systemctl enable --now kafka.service$ sudo systemctl status kafka zookeeper
 

 Keluaran:
 

 
 

 
 
Menginstal Manajer Cluster untuk Apache Kafka (CMAK)
 

 Langkah selanjutnya adalah menginstal CMAK yang merupakan singkatan dari Cluster Manager untuk Apache Kafka. CMAK adalah alat sumber terbuka untuk mengelola dan memantau layanan Kafka. Ini awalnya dikembangkan oleh Yahoo. Untuk menginstal CMAK, jalankan perintah berikut:
 
$ cd $HOME$ git clone https://github.com/yahoo/CMAK.git
 

 
 
Mengonfigurasi CMAK
 

 Kemudian, gunakan editor favorit Anda untuk mengubah konfigurasi CMAK.
 
$ vim ~/CMAK/conf/application.conf
 

 Dalam tutorial ini, kita akan mengkonfigurasi Zookeeper menjadi localhost , mari kita ubah nilai cmak.zkhosts sebagai localhost:2181 
 

 Anda dapat menemukan cmak.zkhosts di baris 28.
 

 
 

 Sekarang, Anda harus membuat file zip untuk tujuan penerapan aplikasi:
 
$ cd ~/CMAK$ ./sbt membersihkan dist
 

 Ini akan memakan waktu sekitar satu menit untuk menyelesaikannya. Outputnya adalah:
 

 
 
Memulai layanan CMAK
 

 Ubah ke direktori ~/CMAK/target/universal dan ekstrak file zip:
 
$ cd ~/CMAK/target/universal$ unzip cmak-3.0.0.5.zip
 

 Setelah unzip file cmak-3.0.0.5.zip, pindah ke direktori, dan jalankan biner cmak:
 
$ cd cmak-3.0.0.5$ bin/cmak
 

 Secara default, layanan cmak akan berjalan pada port 9000.
 

 Gunakan browser web dan buka http://:9000
 

 
 

 Saat ini, tidak ada cluster yang tersedia. Kita harus menambahkan yang baru dengan mengklik Tambahkan Cluster  di Kluster  daftar tarik-turun.
 

   
 

 Kemudian, isi formulir di bawah ini dengan informasi yang diminta:Nama Cluster, Host Cluster Zookeeper, Versi Kafka dan seterusnya. Misalnya:
 

 
 

 Biarkan opsi lain dengan nilai defaultnya, lalu klik Simpan. 
 

 
 

 Selesai. Cluster berhasil dibuat.
 

   
 

 Sekarang, saatnya membuat contoh topik. Asumsikan bahwa kita akan membuat topik bernama "LinuxWaysTopic". Mengingat CMAK masih berjalan dan luncurkan terminal baru, jalankan perintah berikut:
 
$ cd /usr/local/kafka-server/kafka-2.7.0-src
 
$ bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic LinuxWaysTopic
 

 Keluaran:
 

 
 

 Buka tampilan cluster lalu klik Topik> Daftar 
 

   
 
Kesimpulan
 

 Anda telah berhasil menginstal dan mengkonfigurasi Apache Kafka di mesin Ubuntu 20.04 LTS Anda.
 

 Jika Anda memiliki masalah, jangan ragu untuk meninggalkan komentar Anda dan beri tahu saya. Terima kasih!