Ubuntu 20.04 adalah sistem operasi yang kuat yang merupakan dasar untuk menyebarkan banyak infrastruktur kompleks seperti transmisi yang lancar dan pemrosesan aliran data yang cepat dan efisien. Hari ini Anda akan belajar bagaimana menerapkannya karena dalam posting ini Anda akan belajar cara menginstal Apache Kafka di Ubuntu 20.04.
Perangkat lunak Apache Kafka adalah aplikasi lintas platform sumber terbuka yang dikembangkan oleh Apache Software Foundation dan berspesialisasi dalam pemrosesan aliran. Ini memungkinkan Anda untuk mempublikasikan, menyimpan, memproses, dan berlangganan aliran log secara real-time. Ini dirancang untuk menangani aliran data dari berbagai sumber dan mendistribusikannya ke berbagai pengguna.
Apache Kafka adalah alternatif untuk sistem pesan perusahaan tradisional. Ini dimulai sebagai sistem internal yang dikembangkan LinkedIn untuk menangani 1,4 miliar pesan per hari.
Platform ini mulai mendapatkan popularitas berkat perusahaan besar seperti Netflix dan Microsoft yang menggunakannya dalam arsitektur mereka. Kafka ditulis dalam Java dan Scala, sehingga harus ada di sistem untuk menjalankannya.
Instal Apache Kafka di Ubuntu 20.04
Apache Kafka dibangun dengan Java sehingga kita harus menginstalnya sebelum melanjutkan dengan langkah apa pun.
Jadi, buka terminal atau sambungkan ke server Anda melalui SSH dan perbarui Ubuntu
sudo apt update sudo apt upgrade
Sekarang instal Java di Ubuntu.
sudo apt install default-jdk default-jre
Langkah selanjutnya adalah menambahkan pengguna baru ke sistem agar Kafka dapat dikelola olehnya.
sudo adduser kafka
Pengguna yang Anda buat harus ditambahkan ke sudo grup sehingga Anda memiliki izin yang memadai untuk menjalankan program.
sudo adduser kafka sudo
Sekarang setelah kafka pengguna dibuat dan siap, Anda dapat masuk menggunakan su perintah
su -l kafka
Mengunduh dan menginstal Apache Kafka
Buat folder baru untuk Anda mengunduh program. Saya akan menyebutnya kafka tetapi Anda dapat memilih nama lain.
mkdir kafka
Sekarang akses dan dari sana dengan bantuan wget perintah, Anda dapat mengunduh versi stabil terbaru dari program.
cd kafka wget https://downloads.apache.org/kafka/2.7.0/kafka_2.13-2.7.0.tgz
Contoh Keluaran:
--2021-04-15 23:13:07-- https://downloads.apache.org/kafka/2.7.0/kafka_2.13-2.7.0.tgz Resolving downloads.apache.org (downloads.apache.org)... 2a01:4f8:10a:201a::2, 88.99.95.219 Connecting to downloads.apache.org (downloads.apache.org)|2a01:4f8:10a:201a::2|:443... connected. HTTP request sent, awaiting response... 200 OK Length: 68583422 (65M) [application/x-gzip] Saving to: ‘kafka_2.13-2.7.0.tgz’ kafka_2.13-2.7.0.tgz 100%[=====================================================================================>] 65.41M 3.08MB/s in 20s 2021-04-15 23:13:27 (3.21 MB/s) - ‘kafka_2.13-2.7.0.tgz’ saved [68583422/68583422]
Setelah itu unzip menggunakan perintah tar .
tar -xvzf kafka_2.13-2.7.0.tgz --strip 1
Kami sekarang memiliki biner dengan benar pada sistem. Jadi kita harus melakukan beberapa konfigurasi sebelum dapat menggunakannya.
Mengonfigurasi Apache Kafka sebelum menggunakannya
Secara default, Apache Kafka tidak mengizinkan Anda menghapus topik. Dalam kekacauan ini, topik dapat berupa kategori, grup, atau nama umpan yang dapat dipublikasikan dalam pesan. Jadi ada baiknya untuk mengubah ini.
Untuk melakukannya, buka server.properties file di dalam config map
nano config/server.properties
Dan temukan delete.topic.enable direktif dan atur ke true .
delete.topic.enable = true
Dalam file yang sama ini, Anda dapat mengubah folder tempat Apache Kafka menyimpan log yang dihasilkan.
log.dirs=/home/kafka/logs
Dalam hal ini, folder log harus berada di direktori yang sama dengan direktori home.
Konfigurasi lain yang harus kita lakukan adalah membuat layanan untuk mengelola Kafka seolah-olah itu adalah layanan sistem. Ini akan memudahkan untuk memulai, menghentikan, dan memeriksa statusnya.
Namun, kita harus mulai dengan Zookeeper yang merupakan layanan yang digunakan Kafka untuk mengelola konfigurasi dan status cluster.
Untuk melakukannya, buat file baru untuk Zookeeper di direktori tempat layanan di-host.
sudo nano /etc/systemd/system/zookeeper.service
Dan tambahkan yang berikut
[Unit] Requires=network.target remote-fs.target After=network.target remote-fs.target [Service] Type=simple User=kafka ExecStart=/home/kafka/kafka/bin/zookeeper-server-start.sh /home/kafka/kafka/config/zookeeper.properties ExecStop=/home/kafka/kafka/bin/zookeeper-server-stop.sh Restart=on-abnormal [Install] WantedBy=multi-user.target
Simpan perubahan dan tutup editor.
Sekarang lakukan hal yang sama untuk kafka.
sudo nano /etc/systemd/system/kafka.service
Dan tambahkan berikut ini:
[Unit] Requires=zookeeper.service After=zookeeper.service [Service] Type=simple User=kafka ExecStart=/bin/sh -c '/home/kafka/kafka/bin/kafka-server-start.sh /home/kafka/kafka/config/server.properties > /home/kafka/kafka/kafka.log 2>&1' ExecStop=/home/kafka/kafka/bin/kafka-server-stop.sh Restart=on-abnormal [Install] WantedBy=multi-user.target
Sekali lagi, simpan perubahan dan tutup editor.
Untuk menerapkan perubahan, cukup segarkan daftar daemon sistem.
sudo systemctl daemon-reload
Dan mulai layanan Kafka dan Zookeeper.
sudo systemctl start kafka sudo systemctl enable kafka sudo systemctl enable zookeeper sudo systemctl start zookeeper
Ini akan menyelesaikan instalasi.
Kesimpulan
Apache Kafka adalah solusi sumber terbuka profesional untuk perusahaan besar yang membutuhkan transmisi data yang efektif. Menjadi open-source memberi kita referensi tentang seberapa kuat dan mudah dikelolanya.
Jadi, bagikan postingan ini dan beri kami komentar.
Situs Web Kafka