Berikut adalah langkah-langkah untuk menginstal Apache Kafka di server Rocky Linux atau AlmaLinux 8 tentunya dengan menggunakan command terminal.
Apache Kafka adalah perangkat lunak sumber terbuka yang memungkinkan penyimpanan dan pemrosesan aliran data melalui platform streaming terdistribusi. Dengan kata sederhana, Apache Kafka adalah platform streaming peristiwa yang bertindak sebagai sistem pesan antara pengirim dan penerima dengan toleransi kesalahan dan kemampuan skalabilitas yang tinggi karena didasarkan pada arsitektur terdistribusi yang dioptimalkan untuk hal yang sama.
Nah, sistem ini awalnya dikembangkan oleh LinkedIn sebagai antrian pesan, namun, menjadi proyek dari Apache Software Foundation, ini adalah open source dan platform streaming yang kuat dengan berbagai fungsi. Ini menawarkan antarmuka untuk menulis data ke cluster Kafka, untuk membaca data, atau untuk mengimpor dan mengekspor data ke dan dari sistem pihak ketiga. Karena latensi rendah dan throughput tinggi, ini dapat memproses streaming waktu nyata dengan mudah.
Antarmuka juga memungkinkan pengguna memuat aliran data dari sistem pihak ketiga atau mengekspornya ke sistem ini. Hal ini membuat Apache Kafka cocok untuk sejumlah besar data dan aplikasi di lingkungan data besar.
Ini dapat digunakan untuk berbagai aplikasi seperti melacak aktivitas situs web secara real-time, memantau aplikasi terdistribusi, menggabungkan file log dari berbagai sumber, sinkronisasi data dalam sistem terdistribusi, pelatihan model secara real-time membantu dalam pembelajaran mesin, dan banyak lagi…
Apache Kafka menawarkan empat antarmuka utama ini (API – Antarmuka Pemrograman Aplikasi). Ketahui lebih banyak tentang setiap API di halaman dokumentasi resmi:
- API Admin
- API Produser
- API Konsumen
- API Aliran
- Hubungkan API
Apa yang Anda perlukan untuk mengikuti tutorial ini:
- Rocky atau AlmaLinux 8 atau server berbasis RHEL lainnya, jika memungkinkan, bersihkan salah satunya.
- Pengguna dengan akses sudo.
Langkah-langkah untuk menginstal Apache Kafka di Rocky Linux 8
Panduan yang diberikan berlaku untuk semua sistem Linux berbasis RHEL 8 termasuk CentOS 8 dan Oracle Linux 8 untuk menginstal Kafka jika diperlukan.
1. Perbarui sistem
Nah, sebelum melangkah lebih jauh jalankan perintah pembaruan sistem untuk memastikan semua paket yang diinstal sudah terbaru. Untuk itu jalankan perintah di bawah ini, ini juga akan menyegarkan cache repositori.
sudo dnf update
2. Instal Java
Apache Kafka membutuhkan Java untuk dijalankan, maka pertama-tama kita perlu menginstalnya di lingkungan lokal kita dan itu harus sama atau lebih besar dari Java 8. Nah, kita tidak perlu menambahkan repositori ketiga karena paket untuk mendapatkan JAVA sudah ada di sana pada repo basis sistem, oleh karena itu, mari gunakan perintah yang diberikan.
Untuk Java 11
sudo dnf install java-11-openjdk
Nah, untuk versi terbaru seperti 16 gunakan perintah di bawah ini:
sudo dnf install epel-release
sudo dnf install java-latest-openjdk
3. Download Apache Kafka terbaru di Rocky Linux 8 atau Almalinux
Apache Kafka tersedia sebagai file tarball di situs resminya. Karenanya, Buka situs web resmi dan unduh versi terbaru. Anda juga dapat menyalin tautan cermin apa pun dan menggunakan wget perintah untuk mengunduh menggunakan baris perintah, seperti yang telah kita lakukan di sini:
sudo dnf install wget nano
wget https://dlcdn.apache.org/kafka/3.0.0/kafka_2.13-3.0.0.tgz
Ekstrak file yang diunduh
tar -xf kafka_*tgz
Untuk melihat file:
ls
Pindahkan ke /usr/local/ hanya untuk memastikan kami tidak akan menghapus folder Kafka secara tidak sengaja.
sudo mv kafka_2.13-3.0.0/ /usr/local/kafka
4. Buat Layanan Sistem untuk Zookeeper dan Kafka
Meskipun hanya untuk pengujian Anda dapat menjalankan skrip layanan Zookeeper dan Kafka secara langsung, secara manual, namun untuk server produksi kami harus menjalankannya di latar belakang. Oleh karena itu, buat unit systemd untuk kedua skrip.
Buat file sistem Zookeeper
Sesuai situs web resmi di masa depan, Kafka tidak membutuhkan Zookeeper, namun saat menulis artikel ini kami membutuhkannya. Jadi, buat file layanan terlebih dahulu untuk Zookeeper.
sudo nano /etc/systemd/system/zookeeper.service
Salin-Tempel baris yang diberikan di bawah ini:
[Unit] Description=Apache Zookeeper server Documentation=http://zookeeper.apache.org Requires=network.target remote-fs.target After=network.target remote-fs.target [Service] Type=simple ExecStart=/usr/bin/bash /usr/local/kafka/bin/zookeeper-server-start.sh /usr/local/kafka/config/zookeeper.properties ExecStop=/usr/bin/bash /usr/local/kafka/bin/zookeeper-server-stop.sh Restart=on-abnormal [Install] WantedBy=multi-user.target
Simpan dan tutup file dengan menekan Ctr+O , tekan tombol Enter kunci, lalu keluar menggunakan Ctrl+X .
Sekarang, buat File sistem Kafka
sudo nano /etc/systemd/system/kafka.service
Tempelkan baris berikut. Catatan – Ubah Java_Home , jika Anda menggunakan versi lain. Untuk menemukannya bisa menggunakan perintah – sudo find /usr/ -name *jdk
[Unit] Description=Apache Kafka Server Documentation=http://kafka.apache.org/documentation.html Requires=zookeeper.service [Service] Type=simple Environment="JAVA_HOME=/usr/lib/jvm/jre-11-openjdk" ExecStart=/usr/bin/bash /usr/local/kafka/bin/kafka-server-start.sh /usr/local/kafka/config/server.properties ExecStop=/usr/bin/bash /usr/local/kafka/bin/kafka-server-stop.sh [Install] WantedBy=multi-user.target
Simpan file dengan Ctrl+O, tekan Enter kunci, lalu gunakan Ctrl+X untuk keluar dari hal yang sama.
Muat ulang daemon
Untuk mencerminkan perubahan yang dibuat di atas ke dalam sistem dan menggunakan file layanan, muat ulang daemon sistem sekali.
sudo systemctl daemon-reload
5. Mulai Zookeeper dan Server Kafka di Rocky Linux
Sekarang, mari kita mulai dan aktifkan kedua layanan server untuk memastikan keduanya juga akan aktif bahkan setelah sistem di-boot ulang.
sudo systemctl start zookeeper sudo systemctl start kafka
sudo systemctl enable zookeeper sudo systemctl enable kafka
Periksa status layanan:
sudo systemctl status zookeeper
sudo systemctl status kafka
6. Buat Topik Tes di Kafka – Rocky atau AlmaLinux
Kafka memungkinkan kita untuk membaca, menulis, menyimpan, dan memproses peristiwa di berbagai mesin, namun, untuk menyimpan peristiwa ini kita memerlukan suatu tempat atau folder dan itu disebut “Topik “. Jadi di terminal server Anda buat setidaknya satu topik menggunakan perintah berikut, menggunakan yang sama nanti Anda dapat membuat Topik sebanyak yang Anda inginkan.
Katakanlah nama Topik pertama kita adalah – testevent . Jadi untuk membuat run yang sama:
Buka direktori Kafka Anda.
cd /usr/local/kafka/
Dan gunakan skrip Topik:
bin/kafka-topics.sh --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 1 --topic testevent
Setelah membuat topik sebanyak yang Anda inginkan, untuk membuat daftar semuanya, kita dapat menggunakan perintah berikut:
bin/kafka-topics.sh --list --bootstrap-server localhost:9092
7. Tulis beberapa acara menggunakan Kafka Producer dan baca bersama konsumen
Kafka menawarkan dua API- Produser dan Konsumen , karena keduanya menawarkan klien baris perintah. Produser bertanggung jawab untuk membuat acara dan Konsumen menggunakannya untuk menampilkan atau membaca data yang dihasilkan oleh Produser.
Buka Dua tab atau sesi terminal untuk memahami generator acara dan penyiapan pembaca secara real-time.
#Pada satu terminal pertama:
Untuk menguji mari kita buat beberapa acara menggunakan skrip Producer:
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic testevent
Ketik beberapa teks yang ingin Anda streaming dan tampilkan di sisi konsumen.
#Di terminal lain
Lari, perintah yang diberikan di bawah ini bersama dengan nama topik untuk memeriksa pesan atau data peristiwa yang dihasilkan secara real-time:
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic testevent --from-beginning
