ELK adalah kombinasi dari tiga produk open-source ElasticSearch, Logstash dan Kibana. Ini adalah salah satu platform manajemen log paling populer di seluruh dunia. Elasticsearch adalah mesin pencari dan analitik. Logstash adalah pipa pemrosesan log yang mengangkut log dari berbagai sumber secara bersamaan, mengubahnya, dan kemudian mengirimkannya ke "simpanan" seperti Elasticsearch. Kibana digunakan untuk memvisualisasikan data Anda yang telah diindeks oleh Logstash ke dalam indeks Elasticsearch
Dalam tutorial ini kami akan menjelaskan cara menginstal Logstash di Ubuntu 20.04.
Prasyarat
- Server yang menjalankan Ubuntu 20.04.
- Kata sandi root dikonfigurasi di server.
Instal Dependensi yang Diperlukan
Untuk menginstal Elasticsearch, Anda perlu menginstal Java di sistem Anda. Anda dapat menginstal Java JDK dengan perintah berikut:
apt-get install openjdk-11-jdk -y
Setelah terinstal, verifikasi versi java yang diinstal dengan perintah berikut:
java -version
Anda akan melihat output berikut:
openjdk 11.0.7 2020-04-14 OpenJDK Runtime Environment (build 11.0.7+10-post-Ubuntu-3ubuntu1) OpenJDK 64-Bit Server VM (build 11.0.7+10-post-Ubuntu-3ubuntu1, mixed mode, sharing)
Selanjutnya, instal dependensi lain yang diperlukan dengan menjalankan perintah berikut:
apt-get install nginx curl gnupg2 wget -y
Setelah semua dependensi terinstal, Anda dapat melanjutkan ke langkah berikutnya.
Instal dan Konfigurasi Elasticsearch
sebelum memulai, Anda perlu menginstal Elasticsearch di sistem Anda. Ini menyimpan log dan peristiwa dari Logstash dan menawarkan kemampuan untuk mencari log secara real-time.
Pertama, tambahkan repositori Elastis ke sistem Anda dengan perintah berikut:
curl -fsSL https://artifacts.elastic.co/GPG-KEY-elasticsearch | apt-key add -
echo "deb https://artifacts.elastic.co/packages/7.x/apt stable main" | tee -a /etc/apt/sources.list.d/elastic-7.x.list
Selanjutnya, perbarui repositori dan instal Elasticsearch dengan perintah berikut:
apt-get update -y
apt-get install elasticsearch -y
Setelah terinstal, edit file konfigurasi default Elasticsearch:
nano /etc/elasticsearch/elasticsearch.yml
Batalkan komentar dan ubah nilainya seperti yang ditunjukkan di bawah ini:
network.host: localhost
Simpan dan tutup file kemudian jalankan layanan Elasticsearch dan aktifkan untuk memulai saat boot dengan perintah berikut:
systemctl start elasticsearch
systemctl enable elasticsearch
Pada titik ini, Elasticsearch diinstal dan mendengarkan pada port 9200. Sekarang Anda dapat menguji apakah Elasticsearch berfungsi atau tidak dengan menjalankan perintah berikut:
curl -X GET "localhost:9200"
Jika semuanya baik-baik saja, Anda akan melihat output berikut:
{
"name" : "ubuntu2004",
"cluster_name" : "elasticsearch",
"cluster_uuid" : "AVRzLjAbQTK-ayYQc0GaMA",
"version" : {
"number" : "7.8.0",
"build_flavor" : "default",
"build_type" : "deb",
"build_hash" : "757314695644ea9a1dc2fecd26d1a43856725e65",
"build_date" : "2020-06-14T19:35:50.234439Z",
"build_snapshot" : false,
"lucene_version" : "8.5.1",
"minimum_wire_compatibility_version" : "6.8.0",
"minimum_index_compatibility_version" : "6.0.0-beta1"
},
"tagline" : "You Know, for Search"
}
Setelah selesai, Anda dapat melanjutkan ke langkah berikutnya.
Instal dan Konfigurasi Kibana
Selanjutnya, Anda perlu menginstal Kibana di sistem Anda. Kibana memungkinkan Anda untuk menganalisis data yang disimpan di Elasticsearch. Anda dapat menginstalnya hanya dengan menjalankan perintah berikut:
apt-get install kibana -y
Setelah Kibana diinstal, mulai layanan Kibana dan aktifkan untuk memulai saat boot dengan perintah berikut:
systemctl start kibana
systemctl enable kibana
Selanjutnya, Anda perlu membuat pengguna administratif untuk Kibana untuk mengakses antarmuka web Kibana. Jalankan perintah berikut untuk membuat pengguna dan kata sandi administratif Kibana, dan simpan di file htpasswd.users.
echo "admin:`openssl passwd -apr1`" | tee -a /etc/nginx/htpasswd.users
Anda akan diminta untuk memberikan kata sandi seperti yang ditunjukkan pada output berikut:
Password: Verifying - Password: admin:$apr1$8d05.YO1$E0Q8QjfNxxxPtD.unmDs7/
Selanjutnya, buat file konfigurasi virtual host Nginx untuk melayani Kibana:
nano /etc/nginx/sites-available/kibana
Tambahkan baris berikut:
server {
listen 80;
server_name kibana.example.com;
auth_basic "Restricted Access";
auth_basic_user_file /etc/nginx/htpasswd.users;
location / {
proxy_pass http://localhost:5601;
proxy_http_version 1.1;
proxy_set_header Upgrade $http_upgrade;
proxy_set_header Connection 'upgrade';
proxy_set_header Host $host;
proxy_cache_bypass $http_upgrade;
}
}
Simpan dan tutup file kemudian aktifkan file virtual host Nginx dengan perintah berikut:
ln -s /etc/nginx/sites-available/kibana /etc/nginx/sites-enabled/
Selanjutnya, restart layanan Nginx untuk menerapkan perubahan:
systemctl restart nginx
Selanjutnya, buka browser web Anda dan periksa status Kibana menggunakan URL http://kibana.example.com/status. Anda akan diminta untuk memberikan nama pengguna dan kata sandi seperti yang ditunjukkan di bawah ini:
Berikan nama pengguna dan kata sandi Kibana Anda, dan klik tombol Masuk. Anda akan melihat layar berikut:
Pada titik ini, dasbor Kibana sudah terpasang di sistem Anda. Sekarang Anda dapat melanjutkan ke langkah berikutnya.
Instal dan Konfigurasikan Logstash
Logstash digunakan untuk memproses log yang dikirim oleh ketukan. Anda dapat menginstalnya dengan menjalankan perintah berikut:
apt-get install logstash -y
Setelah Logstash diinstal, buat file konfigurasi beat baru dengan perintah berikut:
nano /etc/logstash/conf.d/02-beats-input.conf
Tambahkan baris berikut:
input {
beats {
port => 5044
}
}
Simpan dan tutup file kemudian buat file konfigurasi Elasticsearch dengan perintah berikut:
nano /etc/logstash/conf.d/30-elasticsearch-output.conf
Tambahkan baris berikut:
output {
if [@metadata][pipeline] {
elasticsearch {
hosts => ["localhost:9200"]
manage_template => false
index => "%{[@metadata][beat]}-%{[@metadata][version]}-%{+YYYY.MM.dd}"
pipeline => "%{[@metadata][pipeline]}"
}
} else {
elasticsearch {
hosts => ["localhost:9200"]
manage_template => false
index => "%{[@metadata][beat]}-%{[@metadata][version]}-%{+YYYY.MM.dd}"
}
}
}
Simpan dan tutup file kemudian verifikasi konfigurasi Logstash Anda dengan perintah ini:
sudo -u logstash /usr/share/logstash/bin/logstash --path.settings /etc/logstash -t
Jika semuanya baik-baik saja, Anda akan melihat output berikut:
Config Validation Result: OK. Exiting Logstash
Selanjutnya, mulai layanan Logstash dan aktifkan untuk memulai saat boot dengan perintah berikut:
systemctl start logstash
systemctl enable logstash
Pada titik ini, Logstash diinstal di sistem Anda. Sekarang Anda dapat melanjutkan ke langkah berikutnya.
Instal dan Konfigurasi Filebeat
Tumpukan ELK menggunakan Filebeat untuk mengumpulkan data dari berbagai sumber dan mengirimkannya ke Logstash.
Anda dapat menginstal Filebeat dengan perintah berikut:
apt-get install filebeat -y
Setelah terinstal, Anda perlu mengonfigurasi Filebeat untuk terhubung ke Logstash. Anda dapat mengkonfigurasinya dengan perintah berikut:
nano /etc/filebeat/filebeat.yml
Beri komentar pada baris berikut:
#output.elasticsearch: # Array of hosts to connect to. # hosts: ["localhost:9200"]
Kemudian, batalkan komentar pada baris berikut:
output.logstash: # The Logstash hosts hosts: ["localhost:5044"]
Simpan dan tutup file kemudian aktifkan modul sistem dengan perintah berikut:
filebeat modules enable system
Secara default, Filebeat dikonfigurasi untuk menggunakan jalur default untuk syslog dan log otorisasi.
Anda dapat memuat pipeline penyerapan untuk modul sistem dengan perintah berikut:
filebeat setup --pipelines --modules system
Selanjutnya, muat template dengan perintah berikut:
filebeat setup --index-management -E output.logstash.enabled=false -E 'output.elasticsearch.hosts=["localhost:9200"]'
Anda akan melihat output berikut:
Index setup finished.
Secara default, Filebeat dikemas dengan contoh dasbor Kibana yang memungkinkan Anda memvisualisasikan data Filebeat di Kibana. Jadi, Anda perlu menonaktifkan output Logstash dan mengaktifkan output Elasticsearch. Anda dapat melakukannya dengan perintah berikut:
filebeat setup -E output.logstash.enabled=false -E output.elasticsearch.hosts=['localhost:9200'] -E setup.kibana.host=localhost:5601
Anda akan melihat output berikut:
Overwriting ILM policy is disabled. Set `setup.ilm.overwrite:true` for enabling. Index setup finished. Loading dashboards (Kibana must be running and reachable) Loaded dashboards Setting up ML using setup --machine-learning is going to be removed in 8.0.0. Please use the ML app instead. See more: https://www.elastic.co/guide/en/elastic-stack-overview/current/xpack-ml.html Loaded machine learning job configurations Loaded Ingest pipelines
Sekarang, mulai layanan Filebeat dan aktifkan untuk memulai saat boot dengan perintah berikut:
systemctl start filebeat
systemctl enable filebeat
Mengakses Dasbor Kibana
Pada titik ini, semua komponen ELK diinstal dan dikonfigurasi. Sekarang, buka browser web Anda dan ketik URL http://kibana.example.com. Anda akan melihat dasbor Kibana di layar berikut:
Di panel kiri, klik Temukan dan pilih pola indeks filebeat-* yang telah ditentukan sebelumnya untuk melihat data Filebeat di layar berikut:
Sekarang, Kibana menawarkan banyak fitur. Jangan ragu untuk menjelajahinya sesuai keinginan.
Kesimpulan
Selamat! Anda telah berhasil menginstal dan mengkonfigurasi Logstash di server Ubuntu 20.04. Anda sekarang dapat mengumpulkan dan menganalisis log sistem dari lokasi pusat. Jangan ragu untuk bertanya kepada saya jika Anda memiliki pertanyaan.