Cara Menginstal Apache Kafka di Ubuntu 18.04 LTS

Dalam tutorial ini, kami akan menunjukkan kepada Anda cara menginstal Apache Kafka di Ubuntu 18.04 LTS. Bagi Anda yang belum tahu, Apache Kafka adalah agen pesan terdistribusi yang dirancang untuk menangani masalah besar volume informasi real-time secara efektif Tidak seperti agen tradisional seperti ActiveMQ dan RabbitMQ, Kafka berfungsi sebagai sekumpulan satu atau lebih server yang membuatnya sangat skalabel dan karena sifatnya yang terdistribusi, Kafka memiliki toleransi kesalahan bawaan sambil memberikan throughput yang lebih besar jika dibandingkan dengan rekan-rekannya.

Artikel ini mengasumsikan Anda memiliki setidaknya pengetahuan dasar tentang Linux, tahu cara menggunakan shell, dan yang terpenting, Anda meng-host situs Anda di VPS Anda sendiri. Instalasi cukup sederhana dan mengasumsikan Anda sedang berjalan di akun root, jika tidak, Anda mungkin perlu menambahkan 'sudo ' ke perintah untuk mendapatkan hak akses root. Saya akan menunjukkan kepada Anda langkah demi langkah instalasi Apache Kafka di server Ubuntu 18.04 LTS (Bionic Beaver).

Prasyarat

• Server yang menjalankan salah satu sistem operasi berikut:Ubuntu 18.04 LTS (Bionic Beaver).
• Sebaiknya Anda menggunakan penginstalan OS baru untuk mencegah potensi masalah.
• Akses SSH ke server (atau cukup buka Terminal jika Anda menggunakan desktop).
• Seorang non-root sudo user atau akses ke root user . Kami merekomendasikan untuk bertindak sebagai non-root sudo user , namun, karena Anda dapat membahayakan sistem jika tidak berhati-hati saat bertindak sebagai root.

Instal Apache Kafka di Ubuntu 18.04 LTS Bionic Beaver

Langkah 1. Pertama, pastikan bahwa semua paket sistem Anda mutakhir dengan menjalankan apt-get berikut perintah di terminal.

sudo apt-get update
sudo apt-get upgrade

Langkah 2. Menginstal Java.

Apache Kafka membutuhkan Java untuk diinstal di server Anda. Secara default, Java tidak tersedia di repositori Ubuntu. Tambahkan Oracle Java PPA ke Apt dengan perintah berikut:

add-apt-repository ppa:webupd8team/java
apt-get update -y
apt-get install oracle-java8-installer

Verifikasi versi Java dengan menjalankan perintah berikut:

java -version

Langkah 3. Memasang Zookeeper.

Apache Kafka bergantung pada Zookeeper untuk manajemen cluster. Oleh karena itu, sebelum memulai Kafka, Zookeeper harus dimulai:

apt-get install zookeeperd

Setelah instalasi selesai, ZooKeeper akan dijalankan sebagai daemon secara otomatis. Secara default, ia akan mendengarkan pada port 2181:

netstat -ant | grep :2181

Anda dapat menjalankan perintah berikut untuk memeriksa apakah penjaga kebun binatang sedang berjalan:

systemctl status zookeeper

Langkah 4. Unduh dan Instal Apache Kafka di Ubuntu 18.04 LTS.

Pertama, unduh dan ekstrak Kafka dari situs web Apache. Anda dapat menggunakan wget untuk mengunduh Kafka:

wget http://www-us.apache.org/dist/kafka/1.1.0/kafka_2.12-1.1.0.tgz

Kemudian ekstrak file arsip:

tar xzf kafka_2.12-1.1.0.tgz
mv kafka_2.12-1.1.0 /usr/local/kafka

Mulai Server Kafka:

cd /usr/local/kafka
bin/zookeeper-server-start.sh config/zookeeper.properties

Sekarang mulai server Kafka:

bin/kafka-server-start.sh config/server.properties

...
[2018-06-26 10:59:45,989] INFO Kafka version : 1.0.1 (org.apache.kafka.common.utils.AppInfoParser)
[2018-06-26 10:59:45,995] INFO Kafka commitId : c0518aa65f25317e (org.apache.kafka.common.utils.AppInfoParser)
[2018-06-26 10:59:46,006] INFO [KafkaServer id=0] started (kafka.server.KafkaServer)

Langkah 5. Buat Topik di Kafka.

Mari kita buat topik bernama “NewTopic” dengan satu partisi dan hanya satu replika:

bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic NewTopic
Created topic "NewTopic".

Sekarang Anda dapat melihat topik yang dibuat di Kafka dengan menjalankan perintah daftar topik:

bin/kafka-topics.sh --list --zookeeper localhost:2181
NewTopic

Langkah 6. Kirim Pesan ke Kafka.

"Produser" adalah proses yang bertanggung jawab untuk memasukkan data ke dalam Kafka kami. Kafka dilengkapi dengan klien baris perintah yang akan mengambil input dari file atau dari standar masukan dan kirimkan sebagai pesan ke cluster Kafka:

Mari kita jalankan Producer lalu ketik beberapa pesan ke konsol untuk dikirim ke server:

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic NewTopic

>Welcome to kafka
>This is my new topic
>

Langkah 7. Menggunakan Konsumen Kafka.

Kafka juga memiliki konsumen baris perintah untuk membaca data dari klaster Kafka dan menampilkan pesan ke output standar:

bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic NewTopic --from-beginning

Welcome to kafka
This is my new topic

Selamat! Anda telah berhasil menginstal Apache Kafka. Terima kasih telah menggunakan tutorial ini untuk menginstal Apache Kafka di sistem Ubuntu 18.04 LTS (Bionic Beaver). Untuk bantuan tambahan atau informasi berguna, kami sarankan Anda memeriksa situs resmi Apache Kafka.