Elastic Stack — dikenal sebagai ELK (Elasticsearch, Logstash, dan Kibana) — adalah platform open-source yang kuat untuk menganalisis data. Ini menawarkan serangkaian fitur lengkap untuk pengindeksan, pencarian, pemantauan, dan analisis data secara real-time.
Elastic Stack dapat diterapkan di tempat atau di cloud. Ini digunakan oleh perusahaan rintisan dan perusahaan besar, termasuk Netflix, Facebook, Goldman Sachs, The Guardian, dan Thomson Reuters.
Elastic Stack terdiri dari tiga komponen inti:
- Elasticsearch :Mesin telusur dan analitik yang mengindeks data dengan cepat dan memberikan hasil penelusuran yang cepat.
- Logstash :Alat pipa log yang mengumpulkan, mengurai, dan menyimpan log dari berbagai sumber.
- Kibana :Alat analisis dan visualisasi data yang memungkinkan Anda menelusuri, melihat, menganalisis, dan berbagi data.
Masing-masing komponen ini menawarkan fitur dan manfaat unik.
Elasticsearch adalah mesin pencari dan analitik yang cepat, skalabel, dan mudah digunakan yang mengindeks data dengan cepat dan memberikan hasil pencarian yang cepat. Ini sempurna untuk aplikasi waktu nyata seperti penelusuran situs web, katalog produk, dukungan pelanggan, dan analisis peristiwa keamanan.
Logstash adalah alat pipa log yang mengumpulkan, mem-parsing, dan menyimpan log dari berbagai sumber. Ini membantu Anda untuk mendapatkan data Anda ke mana harus pergi, ketika perlu pergi ke sana. Logstash juga dapat digunakan untuk memantau sistem Anda hampir secara real-time, sehingga Anda dapat mengidentifikasi dan memperbaiki masalah sebelum menjadi serius.
Kibana adalah visualisasi data dan alat analitik yang memungkinkan Anda mencari, melihat, menganalisis, dan berbagi data. Dengan Kibana, Anda dapat dengan cepat menemukan wawasan dalam data Anda dan melihat bagaimana kinerja bisnis Anda. Kibana memudahkan pembuatan dasbor khusus, sehingga Anda dapat melacak metrik yang paling penting bagi Anda.
Elastic Stack adalah salah satu solusi big data paling populer, dan untuk alasan yang bagus. Mudah disiapkan, skalabel, dan menawarkan banyak fitur untuk mengindeks, menelusuri, memantau, dan menganalisis data.
Jika Anda mencari platform sumber terbuka yang andal untuk menganalisis data, Elastic Stack layak untuk dipertimbangkan.
ELK Stack dirancang untuk memungkinkan pengembang dengan cepat memasukkan data ke dalam keadaan yang dapat dicari dan dianalisis, tanpa memerlukan pasukan konsultan. Pengguna dapat mengambil data dari sumber mana pun dan menggunakan Kibana dan/atau Logstash untuk memvisualisasikan data dalam rangkaian waktu.
Elasticsearch adalah mesin analitik dan pencarian yang terdistribusi, RESTful yang mengindeks data dengan cepat, memberikan hasil pencarian yang cepat. Ini sempurna untuk aplikasi waktu nyata seperti penelusuran situs web, katalog produk, dukungan pelanggan, dan analisis peristiwa keamanan.
Dalam tutorial ini, kami akan memandu Anda melalui langkah-langkah untuk menginstal Elastic Stack di server Ubuntu 20.04.
Prasyarat
- Instalasi minimal Ubuntu Server 20.04 LTS dengan akses SSH dan pengguna non-root dengan hak sudo.
- Tersedia minimal 4 GB RAM, 2 CPU, dan ruang hard drive 20 GB.
Memperbarui Sistem
Ini adalah praktik yang baik untuk menjaga paket server Anda tetap mutakhir. Jalankan perintah berikut untuk memperbarui cache repositori Anda:
sudo apt update && sudo apt upgrade -y
Setelah pembaruan selesai, jalankan perintah di bawah ini untuk menginstal dependensi yang diperlukan.
sudo apt install wget apt-transport-https curl gnupg2 -y
Menginstal Java
Elasticsearch membutuhkan Java untuk dijalankan. Ubuntu 2.04 hadir dengan Java 8 dan Java 11, tetapi beberapa plugin mungkin tidak kompatibel dengan Java 11, jadi kami akan menginstal Java 8.
Jalankan perintah berikut untuk menginstal Java 8 di sistem Anda.
sudo apt install openjdk-8-jdk -y
Setelah penginstalan selesai, Anda dapat memeriksa versi Java yang terinstal di sistem Anda dengan menjalankan perintah berikut.
java -version
Outputnya akan terlihat seperti ini.
Instal Elasticsearch
Repositori default Ubuntu 20.04 tidak mengandung Elasticsearch, tetapi dapat dengan mudah diinstal menggunakan APT setelah menambahkan repositori Elastic resmi dari tim pengembang Elasticsearch.
Pertama, unduh kunci penandatanganan publik (Elasticsearch melakukan ini secara otomatis) menggunakan perintah curl untuk memvalidasi paket. Paket ditandatangani dengan kunci ini untuk memastikan keasliannya. Kami akan menggunakan argumen -fsSL untuk menunjukkan ke curl bahwa kami ingin membungkam semua kemajuan dan mengaktifkan cURL untuk membuat permintaan ke URL yang ditentukan.
curl -fsSL https://artifacts.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add -
Anda akan mendapatkan pesan OK jika kunci berhasil ditambahkan.
Selanjutnya, tambahkan repositori Elasticsearch ke sistem Anda dengan menjalankan perintah berikut. Kami akan menambahkan elastic-7.x.list ke direktori sources.list.d. Direktori sources.list.d adalah direktori khusus di Ubuntu tempat Anda dapat menambahkan sumber tambahan untuk perangkat lunak. Sistem APT menggunakan file-file ini untuk menemukan paket yang tersedia.
echo "deb https://artifacts.elastic.co/packages/7.x/apt stable main" | sudo tee -a /etc/apt/sources.list.d/elastic-7.x.list
Kemudian, perbarui cache repositori Anda untuk membaca repositori Elasticsearch yang baru.
sudo apt update
Sekarang Anda dapat menginstal Elasticsearch dengan menjalankan perintah berikut.
sudo apt install elasticsearch -y
Setelah instalasi selesai, kita perlu mengkonfigurasi Elasticsearch. File /etc/elasticsearch/elasticsearch.yml adalah file konfigurasi utama untuk semua pengaturan Elasticsearch. Seperti parameter network.host yang menentukan alamat IP atau nama host mana yang akan mengikat layanan Elasticsearch.
Mari kita buka file menggunakan editor teks nano.
sudo nano /etc/elasticsearch/elasticsearch.yml
Sebagian besar pengaturan ini telah dikonfigurasi sebelumnya tetapi Anda dapat menyesuaikannya dengan kebutuhan Anda. Dalam contoh ini, kami hanya mengubah pengaturan host jaringan. Kami akan menghapus komentar dan mengubah Host:menjadi localhost sehingga Elasticsearch dapat mendengarkan di antarmuka apa pun. Jika Anda ingin menggunakan antarmuka tertentu, Anda dapat mengganti localhost dengan alamat IP atau nama host tertentu.
Sebelumnya:
Setelah:
Setelah Anda selesai dengan perubahan, simpan file dengan menekan CTRL + X, Y, dan Enter. Sekarang mulai Elasticsearch menggunakan perintah berikut. Proses memulai dapat memakan waktu beberapa menit, jadi bersabarlah.
sudo systemctl start elasticsearch
Untuk mengaktifkan Elasticsearch untuk memulai secara otomatis saat boot, jalankan perintah berikut.
sudo systemctl enable elasticsearch
Sekarang Anda dapat menguji penginstalan dengan menjalankan perintah berikut.
curl -X GET "localhost:9200"
Anda akan melihat respons berikut dari node lokal Anda.
Instal Kibana
Sekarang setelah Elasticsearch aktif dan berjalan, kita dapat menginstal Kibana. Kibana adalah antarmuka visual untuk Elasticsearch yang memungkinkan kita mencari dan memvisualisasikan data kita.
Anda harus selalu menginstal Kibana Dashboard setelah menginstal server Elasticsearch. Ini akan memastikan bahwa semua komponen dan pengaturan Elastic Stack sudah terpasang dengan benar.
Jalankan perintah berikut untuk menginstal Kibana.
sudo apt install kibana -y
Setelah instalasi selesai, kita perlu mengkonfigurasi Kibana. File /etc/kibana/kibana.yml adalah file konfigurasi utama untuk semua pengaturan Kibana. Seperti port tempat mengikat layanan Kibana, pengaturan elasticsearch.url menentukan ke mana URL Elasticsearch harus diarahkan, dan pengaturan keamanan lainnya.
Mari kita buka file ini menggunakan editor teks nano.
sudo nano /etc/kibana/kibana.yml
Dalam contoh ini, kami akan menghapus komentar pada baris berikut:server.port, server.host, dan elasticsearch.hosts sehingga Kibana menunjuk ke URL Elasticsearch yang benar.
Sebelum mengedit:
Setelah diedit:
Sekarang simpan file dengan menekan CTRL + X, Y, dan Enter. Sekarang mulai dan aktifkan Kibana menggunakan perintah berikut.
sudo systemctl start kibana && sudo systemctl enable kibana
Sekarang buka browser web favorit Anda dan buka URL berikut.
http://localhost:5601/app/kibana#/home
Anda akan diarahkan ke layar selamat datang Kibana. Dari sini, Anda dapat mulai menggunakan Kibana. Jika Anda mendapatkan kesalahan "Server Kibana belum siap", berikan beberapa menit untuk memulai. Atau pastikan Elasticsearch dan Kibana aktif dan berjalan.
Instal Filebeat
Filebeat adalah pengirim log ringan yang dapat mengirim data ke Elasticsearch. Anda dapat menginstal Filebeat menggunakan perintah berikut.
sudo apt install filebeat -y
Setelah penginstalan selesai, Anda perlu mengonfigurasi Filebeat. File /etc/filebeat/filebeat.yml adalah file konfigurasi utama untuk semua pengaturan Filebeat.
Mari kita buka file ini menggunakan editor teks nano.
sudo nano /etc/filebeat/filebeat.yml
Sekarang, batalkan komentar pada baris output.logstash dan baris host seperti yang ditunjukkan di bawah ini.
Sebelum mengedit:
Setelah diedit:
Sekarang simpan file dengan menekan CTRL + X, Y, dan Enter. Sekarang mari aktifkan modul sistem Filebeat, muat template indeks, dan hubungkan Filebeat ke Elasticsearch.
sudo filebeat modules enable system && sudo filebeat setup --index-management -E output.logstash.enabled=false -E 'output.elasticsearch.hosts=["localhost:9200"]'
sudo filebeat setup -E output.logstash.enabled=false -E output.elasticsearch.hosts=['localhost:9200'] -E setup.kibana.host=localhost:5601
Contoh keluaran:
Selanjutnya, jalankan perintah berikut untuk memulai dan mengaktifkan Filebeat.
sudo systemctl start filebeat && sudo systemctl enable filebeat
Terakhir, jalankan perintah berikut untuk memverifikasi bahwa Elasticsearch menerima data dari Filebeat,
curl -XGET 'http://localhost:9200/filebeat-*/_search?pretty'
Anda akan melihat data yang sama seperti yang ditunjukkan pada gambar di bawah ini. Output ini mengonfirmasi bahwa Filebeat mengirimkan data ke Elasticsearch.
Instal Logstash
Sekarang setelah Anda berhasil mengatur Elasticsearch dan Kibana, langkah terakhir adalah menginstal Logstash.
Anda dapat menginstal Logstash menggunakan perintah berikut.
sudo apt install logstash -y
Setelah penginstalan selesai, Anda dapat memulai dan mengaktifkan Logstash menggunakan perintah berikut.
sudo systemctl start logstash && sudo systemctl enable logstash
Untuk memeriksa apakah Logstash aktif dan berjalan, Anda dapat menjalankan perintah berikut untuk memeriksa statusnya.
sudo systemctl status logstash
Anda akan mendapatkan output berikut.
Sekarang kami telah menginstal Logstash, Anda dapat mengonfigurasinya sesuai kebutuhan Anda. Anda dapat merujuk ke dokumentasi Logstash untuk informasi lebih lanjut.
Setelah Anda selesai mengonfigurasi Logstash, kembali ke antarmuka web Kibana yang telah Anda buka di browser web Anda pada langkah sebelumnya. Dari sana, Anda dapat mulai mengelola dan memvisualisasikan data Anda. Selamat! Anda sekarang telah berhasil menginstal Elastic Stack di server Ubuntu 20.04 Anda.
Kesimpulan
Dalam tutorial ini, Anda telah mempelajari cara menginstal Elasticsearch, Kibana, dan Logstash di server Ubuntu 20.04. Anda juga telah mempelajari cara mengonfigurasi ketiga komponen agar dapat berkomunikasi satu sama lain.
Tinggalkan komentar, saran, dan pertanyaan Anda di bawah. Jika artikel ini membantu Anda, silakan tekan tombol bagikan di bagian atas halaman ini untuk membantu mereka.