Cara Menginstal Apache Kafka di Ubuntu 18.04

Dalam tutorial ini, kami akan menunjukkan cara menginstal dan mengatur Apache Kafka pada VPS yang menjalankan Ubuntu 18.04.

Kafka atau Apache Kafka adalah sistem pesan terdistribusi berdasarkan prinsip model pub-sub (publish-subscribe). Ini memungkinkan kami untuk menerbitkan dan berlangganan aliran rekaman yang dapat dikategorikan. Ini adalah sangat cepat , sangat skalabel , toleran terhadap kesalahan sistem, dan dirancang untuk memproses data dalam jumlah besar dalam waktu nyata . Apache Kafka juga dapat digunakan sebagai alternatif perantara pesan, yang memungkinkan kita untuk memproses/mengubah aliran catatan. Kafka dapat digunakan sebagai sistem pengiriman pesan, tetapi dalam skala yang sangat besar. Secara keseluruhan, Apache Kafka adalah alat yang sangat kuat bila digunakan dengan benar.

Prasyarat

• Server yang menjalankan Ubuntu 18.04 dengan memori minimal 4GB. Untuk keperluan tutorial ini, kami akan menggunakan salah satu VPS Ubuntu 18.04 Terkelola kami.
• Akses SSH dengan hak akses root, atau akses ke pengguna "root" itu sendiri

Langkah 1:Masuk melalui SSH dan Perbarui Sistem

Masuk ke VPS Ubuntu 18.04 Anda dengan SSH sebagai pengguna root:

ssh root@IP_Address -p Port_number

Ganti "root" dengan pengguna yang memiliki hak sudo jika perlu. Selain itu, ganti “IP_Address” dan “Port_Number” dengan alamat IP dan port SSH server Anda masing-masing.

Setelah selesai, Anda dapat memeriksa apakah Anda telah menginstal versi Ubuntu yang tepat di server Anda dengan perintah berikut:

# lsb_release -a

Anda harus mendapatkan output ini:

ID Distributor:UbuntuDeskripsi:Ubuntu 18.04.2 LTSRelease:18.04Nama Kode:bionik

Kemudian, jalankan perintah berikut untuk memastikan bahwa semua paket yang diinstal di server diperbarui ke versi terbaru yang tersedia:

# apt update &&apt upgrade

Langkah 2:Tambahkan Pengguna Sistem

Mari kita buat pengguna baru bernama 'kafka', setelah itu kita akan menambahkan pengguna baru ini sebagai sudoer.

# adduser kafka# usermod -aG sudo kafka

Langkah 3:Instal Java

Kafka ditulis dalam Java, jadi JVM diperlukan untuk membuatnya berfungsi. Dalam tutorial ini, kita akan menggunakan OpenJDK 11, karena ini adalah versi standar Java yang disertakan dengan Ubuntu sejak September 2018.

# apt install default-jre

Langkah 4:Unduh Apache Kafka

Sekarang mari kita unduh Kafka, Anda dapat pergi ke sini dan mengunduh rilis terbaru jika perlu. Tautan unduhan terbaru pada saat penulisan telah dimasukkan dalam contoh untuk Anda.

# su - kafka

wget https://www-us.apache.org/dist/kafka/2.2.0/kafka_2.12-2.2.0.tgz -O kafka.tgz

Sekarang biner Apache Kafka telah diunduh, sekarang kita perlu mengekstraknya di direktori pengguna Kafka kita

$ tar -xzvf kafka.tgz --stripe 1

Langkah 5:Konfigurasi Apache Kafka

Saatnya untuk mengkonfigurasi Apache Kafka. Secara default, kami tidak diizinkan untuk menghapus topik, kategori, atau grup tempat pesan dapat diposting. Untuk mengubah perilaku ini, kita perlu mengedit konfigurasi default.

$ nano ~/config/server.properties

Tambahkan baris berikut ke baris terakhir file konfigurasi.

delete.topic.enable =true

Langkah 6:Buat File Unit Sistem untuk Apache Kafka

Zookeeper diperlukan untuk menjalankan Kafka. Kafka menggunakan zookeeper, jadi kita harus memulai instance server Zookeeper terlebih dahulu sebelum memulai layanan Apache Kafka. Dalam tutorial ini, kita akan menggunakan skrip kemudahan yang dikemas dengan Kafka untuk mendapatkan instance Zookeeper simpul tunggal yang cepat dan kotor.

Buka file baru di jalur file /etc/systemd/system/zookeeper.service , dan buka di editor teks pilihan Anda. Kami akan menggunakan nano untuk tutorial ini.

$ sudo nano /etc/systemd/system/zookeeper.service

Rekatkan baris berikut ke dalamnya:

[Unit]Memerlukan=network.target remote-fs.targetAfter=network.target remote-fs.target[Service]Type=simpleUser=kafkaExecStart=/home/kafka/bin/zookeeper-server-start.sh /home /kafka/config/zookeeper.propertiesExecStop=/home/kafka/bin/zookeeper-server-stop.shRestart=on-abnormal[Install]WantedBy=multi-user.target

Sekarang, mari kita buat file unit sistem untuk kafka di jalur file /etc/systemd/system/kafka.service :

$ sudo nano /etc/systemd/system/kafka.service

Rekatkan baris berikut ke dalam file:

[Unit]Memerlukan=zookeeper.serviceAfter=zookeeper.service[Service]Type=simpleUser=kafkaExecStart=/bin/sh -c '/home/kafka/bin/kafka-server-start.sh /home/kafka/ config/server.properties> /home/kafka/kafka.log 2>&1'ExecStop=/home/kafka/bin/kafka-server-stop.shRestart=on-abnormal[Install]WantedBy=multi-user.target 

 Unit sistem baru telah ditambahkan, jadi mari aktifkan Apache Kafka untuk berjalan secara otomatis saat boot, lalu jalankan layanan.
 
$ sudo systemctl aktifkan kafka$ sudo systemctl start kafka
 
Langkah 7:Buat Topik
 

 Pada langkah ini, kita akan membuat topik bernama “FirstTopic”, dengan satu partisi dan hanya satu replika:
 
$ bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic FirstTopicTopik yang dibuat "FirstTopic".
 

 Nilai faktor replikasi menjelaskan berapa banyak salinan data yang akan dibuat. Kami menjalankan dengan satu instance, jadi nilainya adalah 1.
 

 Nilai partisi menggambarkan jumlah broker yang Anda inginkan untuk membagi data Anda. Kami menjalankan dengan satu broker, jadi nilainya adalah 1.
 

 Sekarang Anda dapat melihat topik yang dibuat di Kafka dengan menjalankan perintah daftar topik:
 
$ bin/kafka-topics.sh --list --zookeeper localhost:2181FirstTopic
 
Langkah 8:Kirim Pesan menggunakan Apache Kafka
 

 Apache Kafka hadir dengan klien baris perintah yang akan mengambil input dari file atau input standar dan mengirimkannya sebagai pesan ke cluster Kafka. “Produser” adalah proses yang bertanggung jawab untuk memasukkan data ke dalam layanan Kafka kami. Secara default, Kafka mengirim setiap baris sebagai pesan terpisah.
 

 Mari jalankan Producer lalu ketik beberapa pesan ke konsol untuk dikirim ke server.
 
$ bin/kafka-console-producer.sh --broker-list localhost:9092 --topic FirstTopic>Selamat datang di kafka>Ini adalah konten topik pertama kami>
 

 Biarkan terminal tetap terbuka, dan mari kita lanjutkan ke langkah berikutnya.
 
Langkah 9:Gunakan Apache Kafka sebagai Konsumen
 

 Apache Kafka juga memiliki baris perintah bagi konsumen untuk membaca data dari Kafka – ini agar konsumen dapat menggunakan Kafka untuk menampilkan pesan dalam output standar.
 

 Jalankan perintah berikut di sesi SSH baru.
 
$ bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic testTopic --from-beginningSelamat datang di kafkaIni adalah isi topik pertama kita
 

 Itu dia! Apache Kafka telah berhasil diinstal dan diatur. Sekarang kita dapat mengetikkan beberapa pesan di terminal produser seperti yang dinyatakan pada langkah sebelumnya. Pesan akan segera terlihat di terminal konsumen kami.
 

 Tentu saja, Anda tidak perlu tahu cara menginstal Apache Kafka di Ubuntu 18.04 jika Anda memiliki VPS Ubuntu 18.04 yang dihosting bersama kami. Jika ya, Anda cukup meminta tim dukungan kami untuk menginstal Apache Kafka di Ubuntu 18.04 untuk Anda. Mereka tersedia 24/7 dan akan dapat membantu Anda menginstal Apache Kafka, serta persyaratan tambahan apa pun yang mungkin Anda miliki.
 

 PS. Jika Anda menikmati membaca posting blog ini tentang cara menginstal Apache Kafka di Ubuntu 18.04, jangan ragu untuk membagikannya di jejaring sosial dengan menggunakan pintasan di bawah ini, atau cukup tinggalkan komentar di bagian komentar. Terima kasih.