Instal dan Konfigurasi Apache Kafka di Ubuntu 20.04 - Proses Langkah demi Langkah untuk mengimplementasikan tugas ini?

Apache Kafka adalah broker pesan terdistribusi populer yang dirancang untuk menangani volume besar data real-time. Cluster Kafka sangat skalabel dan toleran terhadap kesalahan.

Ini juga memiliki throughput yang jauh lebih tinggi dibandingkan dengan broker pesan lain seperti ActiveMQ dan RabbitMQ.

Meskipun umumnya digunakan sebagai sistem pesan terbitkan/berlangganan, banyak organisasi juga menggunakannya untuk agregasi log karena menawarkan penyimpanan persisten untuk pesan yang dipublikasikan.

Di sini, di LinuxAPT, sebagai bagian dari Layanan Manajemen Server kami, kami secara teratur membantu Pelanggan kami untuk melakukan kueri terkait Apache.

Dalam konteks ini, kita akan melihat cara menginstal dan mengkonfigurasi Kafka di Ubuntu 20.04.

Bagaimana cara menginstal Apache Kafka di sistem Ubuntu?

Untuk memulai tugas penginstalan ini, Anda perlu mengakses server Anda sebagai pengguna root dengan hak sudo.

Apache Kafka membutuhkan Java untuk diinstal pada mesin Ubuntu 20.04 Anda.

Mulailah dengan memperbarui OS Anda dengan perintah berikut:

$ sudo apt update

Setelah OS diperbarui, lanjutkan untuk menginstal Java:

$ sudo apt install openjdk-11-jre-headless

Kemudian, verifikasi bahwa Java berhasil diinstal pada sistem dengan menjalankan perintah:

$ java --version

Bagaimana Cara Mengunduh Kafka di Ubuntu ?

Sekarang, Anda harus mengunduh sumber Kafka ke Ubuntu 20.04 Anda. Sangat disarankan untuk mengunduhnya dari situs resmi Apache Kafka:https://kafka.Apache.org/downloads

Pada saat penulisan artikel ini, versi terbaru adalah 2.7.0.

Anda dapat mengunduhnya dengan perintah berikut:

$ cd $HOME
$ wget https://downloads.apache.org/kafka/2.7.0/kafka-2.7.0-src.tgz

Selanjutnya, buat folder baru bernama kafka-server di direktori /usr/local:

$ sudo mkdir /usr/local/kafka-server

Kemudian ekstrak sumber Kafka yang diunduh ke direktori /usr/local/kafka-server:

$ sudo tar xf $HOME/kafka-2.7.0-src.tgz -C /usr/local/kafka-server

Karena, Anda telah mengekstrak file biner Apache Kafka, Anda dapat membuat daftar file dengan menjalankan:

$ ls /usr/local/kafka-server/kafka-2.7.0-src/bin/

Sekarang, saatnya membuat Kafka dan Zookeeper berjalan sebagai daemon di Ubuntu 20.04.

Untuk melakukan ini, Anda harus membuat file unit Systemd untuk Kafka dan Zookeeper.

Bagaimana cara membuat file Unit Systemd untuk Kafka dan Zookeeper?

Mulailah dengan menggunakan editor favorit Anda untuk membuat dua file sebagai berikut:

/etc/systemd/system/zookeeper.service

[Unit]
Description=Apache Zookeeper Server
Requires=network.target remote-fs.target
After=network.target remote-fs.target
[Service]
Type=simple
ExecStart=/usr/local/kafka-server/kafka-2.7.0-src/bin/zookeeper-server-start.sh /usr/local/kafka-server/kafka-2.7.0-src/config/zookeeper.properties
ExecStop=/usr/local/kafka-server/kafka-2.7.0-src/bin/zookeeper-server-stop.sh
Restart=on-abnormal
[Install]
WantedBy=multi-user.target

/etc/systemd/system/kafka.service

[Unit]
Description=Apache Kafka Server
Documentation=http://kafka.apache.org/documentation.html
Requires=zookeeper.service
After=zookeeper.service
[Service]
Type=simple
Environment="JAVA_HOME=/usr/lib/jvm/java-11-openjdk-amd64"
ExecStart=/usr/local/kafka-server/kafka-2.7.0-src/bin/kafka-server-start.sh /usr/local/kafka-server/kafka-2.7.0-src/config/server.properties
ExecStop=/usr/local/kafka-server/kafka-2.7.0-src/bin/kafka-server-stop.sh
Restart=on-abnormal
[Install]
WantedBy=multi-user.target

Untuk menerapkan perubahan, daemon systemd perlu dimuat ulang dan Anda juga harus mengaktifkan layanan:

$ sudo systemctl daemon-reload
$ sudo systemctl enable --now zookeeper.service
$ sudo systemctl enable --now kafka.service
$ sudo systemctl status kafka zookeeper

Bagaimana cara menginstal Cluster Manager untuk Apache Kafka (CMAK) di Ubuntu?

Di sini, kita akan menginstal CMAK yang merupakan singkatan dari Cluster Manager untuk Apache Kafka. CMAK adalah alat sumber terbuka untuk mengelola dan memantau layanan Kafka.

Ini awalnya dikembangkan oleh Yahoo. Untuk menginstal CMAK, jalankan perintah berikut:

$ cd $HOME
$ git clone https://github.com/yahoo/CMAK.git

Bagaimana cara mengkonfigurasi CMAK di Ubuntu ?

Dengan editor favorit Anda, Anda dapat mengubah konfigurasi CMAK:

$ vim ~/CMAK/conf/application.conf

Disini kita akan mengkonfigurasi Zookeeper menjadi localhost, mari kita ubah nilai cmak.zkhosts menjadi localhost:2181

Anda dapat menemukan cmak.zkhosts di baris 28.

Sekarang, Anda harus membuat file zip untuk tujuan penerapan aplikasi:

$ cd ~/CMAK
$ ./sbt clean dist

Ini akan memakan waktu sekitar satu menit untuk menyelesaikannya.

Bagaimana cara memulai layanan CMAK di Ubuntu ?

saya. Ubah ke direktori ~/CMAK/target/universal dan ekstrak file zip:

$ cd ~/CMAK/target/universal
$ unzip cmak-3.0.0.5.zip

ii. Setelah unzip file cmak-3.0.0.5.zip, pindah ke direktori, dan jalankan biner cmak:

$ cd cmak-3.0.0.5
$ bin/cmak

Secara default, layanan cmak akan berjalan pada port 9000.

Gunakan browser web dan buka http://:9000

Saat Anda pertama kali mengakses antarmukanya, tidak akan ada cluster yang tersedia.

aku aku aku. Kemudian, Kita harus menambahkan yang baru dengan mengklik Tambah Cluster pada daftar drop-down Cluster.

iv. Di sini, kami mengisi formulir dengan informasi yang diminta:Nama Cluster, Host Cluster Zookeeper, Versi Kafka, dan seterusnya.

v. Biarkan opsi lain dengan nilai defaultnya, lalu klik Simpan.

Sekarang Cluster akan berhasil dibuat.

Anda sekarang dapat membuat topik sampel.

vi. Asumsikan bahwa kita akan membuat topik bernama "LinuxAPTTopic".

Mengingat CMAK masih berjalan dan luncurkan terminal baru, jalankan perintah berikut:

$ cd /usr/local/kafka-server/kafka-2.7.0-src
$ bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic LinuxAPTTopic

Perintah ini akan membuat topik "LinuxAPTTopic".

vii. Terakhir, Buka tampilan cluster lalu klik Topik> Daftar.