Tumpukan ELK adalah akronim dari tiga proyek sumber terbuka populer:Elasticsearch, Logstash, dan Kibana. Ini adalah sumber terbuka dan salah satu platform manajemen log paling populer yang mengumpulkan, memproses, dan memvisualisasikan data dari berbagai sumber data. Ini terutama digunakan untuk analisis log di lingkungan TI. Sangat membantu bagi administrator sistem untuk mencari dan menganalisis sejumlah besar data untuk membuat keputusan waktu nyata-setiap saat.
Elasticsearch:Ini adalah mesin pencari yang digunakan untuk menyimpan semua data yang dikumpulkan.
Kibana:Ini menyediakan antarmuka berbasis web yang digunakan untuk mencari dan memvisualisasikan data Anda.
Logstash:Ini adalah antarmuka pemrosesan data yang digunakan untuk mengumpulkan data dari beberapa sumber secara bersamaan kemudian mengirimkan data ke simpanan yang Anda inginkan.
Dalam tutorial ini, kami akan menjelaskan cara menginstal dan mengkonfigurasi tumpukan ELK di server Ubuntu 20.04.
Prasyarat
- VPS Ubuntu 20.04 (kami akan menggunakan paket hosting VPS NVMe 8 kami)
- Akses ke akun pengguna root (atau akses ke akun admin dengan hak akses root)
Masuk ke Server &Perbarui Paket OS Server
Pertama, masuk ke server Ubuntu 20.04 Anda melalui SSH sebagai pengguna root:
ssh root@IP_Address -p Port_number
Anda harus mengganti 'IP_Address' dan 'Port_number' dengan alamat IP dan nomor port SSH masing-masing server Anda. Selain itu, ganti 'root' dengan nama pengguna akun admin jika perlu.
Sebelum memulai, Anda harus memastikan bahwa semua paket OS Ubuntu yang diinstal di server sudah diperbarui. Anda dapat melakukannya dengan menjalankan perintah berikut:
apt-get update -y apt-get upgrade -y
Instal Dependensi yang Diperlukan
Sebelum memulai, Anda perlu menginstal Java dan dependensi lain yang diperlukan di server Anda. Anda dapat menginstal semuanya menggunakan perintah berikut:
apt-get install openjdk-11-jdk wget apt-transport-https curl gnupg2 -y
Setelah semua paket diinstal, verifikasi versi Java yang diinstal dengan perintah berikut:
java -version
Anda akan mendapatkan output berikut:
openjdk version "11.0.9.1" 2020-11-04 OpenJDK Runtime Environment (build 11.0.9.1+1-Ubuntu-0ubuntu1.20.04) OpenJDK 64-Bit Server VM (build 11.0.9.1+1-Ubuntu-0ubuntu1.20.04, mixed mode, sharing)
Instal Elasticsearch
Secara default, Elasticsearch tidak tersedia di repositori standar Ubuntu. Jadi, Anda perlu menambahkan repositori Elasticsearch ke sistem Anda.
Pertama, tambahkan kunci penandatanganan Elasticsearch dengan perintah berikut:
wget -qO - https://artifacts.elastic.co/GPG-KEY-elasticsearch | apt-key add -
Selanjutnya, tambahkan repositori dengan perintah berikut:
echo "deb https://artifacts.elastic.co/packages/7.x/apt stable main" | tee -a /etc/apt/sources.list.d/elastic-7.x.list
Setelah repositori ditambahkan, perbarui repositori dan instal paket Elasticsearch dengan perintah berikut:
apt-get update -y apt-get install elasticsearch -y
Setelah Elasticsearch terinstal, mulai layanan Elasticsearch dan aktifkan untuk memulai saat reboot sistem:
systemctl start elasticsearch systemctl enable elasticsearch
Pada titik ini, Elasticsearch dimulai dan mendengarkan pada port 9200. Anda dapat memverifikasinya dengan perintah berikut:
ss -antpl | grep 9200
Anda akan mendapatkan output berikut:
LISTEN 0 4096 [::ffff:127.0.0.1]:9200 *:* users:(("java",pid=27757,fd=257))
LISTEN 0 4096 [::1]:9200 [::]:* users:(("java",pid=27757,fd=256))
Anda juga dapat memeriksa Elasticsearch dengan mengirimkan permintaan HTTP:
curl -X GET http://localhost:9200
Anda akan mendapatkan output berikut:
{
"name" : "ubuntu2004",
"cluster_name" : "elasticsearch",
"cluster_uuid" : "LhG8-a_eQHyyoRAlQQXBTQ",
"version" : {
"number" : "7.10.0",
"build_flavor" : "default",
"build_type" : "deb",
"build_hash" : "51e9d6f22758d0374a0f3f5c6e8f3a7997850f96",
"build_date" : "2020-11-09T21:30:33.964949Z",
"build_snapshot" : false,
"lucene_version" : "8.7.0",
"minimum_wire_compatibility_version" : "6.8.0",
"minimum_index_compatibility_version" : "6.0.0-beta1"
},
"tagline" : "You Know, for Search"
}
Instal dan Konfigurasikan Logstash
Logstash adalah perangkat lunak penguraian log yang digunakan untuk mengumpulkan log dan menyimpannya di Elasticsearch. Anda dapat menginstalnya dengan mudah dengan perintah berikut:
apt-get install logstash -y
Setelah Logstash diinstal, Anda perlu mengonfigurasi plugin input, filter, dan output. Anda dapat mengonfigurasinya dengan membuat file konfigurasi baru di dalam direktori /etc/logstash/conf.d/:
nano /etc/logstash/conf.d/logstash.conf
Tambahkan baris berikut:
#Specify listening port for incoming logs from the beats
input {
beats {
port => 5044
}
}
# Used to parse syslog messages and send it to Elasticsearch for storing
filter {
if [type] == "syslog" {
grok {
match => { "message" => "%{SYSLOGLINE}" }
}
date {
match => [ "timestamp", "MMM d HH:mm:ss", "MMM dd HH:mm:ss" ]
}
}
}
# Specify an Elastisearch instance
output {
elasticsearch {
hosts => ["localhost:9200"]
index => "%{[@metadata][beat]}-%{+YYYY.MM.dd}"
}
}
Simpan dan tutup file, lalu jalankan Logstash dan aktifkan untuk memulai saat sistem di-boot ulang.
systemctl start logstash systemctl enable logstash
Instal dan Konfigurasi Kibana
Kibana memvisualisasikan data yang disimpan di Elasticsearch melalui antarmuka berbasis web. Anda dapat menginstalnya dengan perintah berikut:
apt-get install kibana -y
Secara default, Kibana mendengarkan di localhost. Jadi, Anda perlu mengonfigurasinya untuk akses eksternal. Anda dapat mengonfigurasinya dengan mengedit file /etc/kibana/kibana.yml:
nano /etc/kibana/kibana.yml
Ubah baris berikut:
server.host: "your-server-ip" elasticsearch.hosts: ["http://localhost:9200"]
Simpan dan tutup file kemudian mulai layanan Kibana dan aktifkan untuk memulai pada sistem reboot:
systemctl start kibana systemctl enable kibana
Instal dan Konfigurasi Filebeat
Filebeat digunakan untuk mengirim log ke Logstash atau Elasticsearch untuk diurai. Di bagian ini, kita akan menginstal Filebeat dan mengkonfigurasinya untuk mengirim log ke Logstash.
Anda dapat menginstalnya dengan perintah berikut:
apt-get install filebeat -y
Setelah terinstal, edit file konfigurasi utama Filebeat dan konfigurasikan untuk mengirim log ke Logstash.
nano /etc/filebeat/filebeat.yml
Komentari baris berikut:
#output.elasticsearch: # Array of hosts to connect to. # hosts: ["localhost:9200"]
Batalkan komentar pada baris berikut:
output.logstash: hosts: ["localhost:5044"]
Simpan dan tutup file kemudian mulai layanan Filebeat dan aktifkan untuk memulai saat reboot sistem:
systemctl start filebeat systemctl enable filebeat
Selanjutnya, aktifkan modul sistem Filebeat, yang akan memeriksa log sistem lokal:
filebeat modules enable system
Selanjutnya, muat template indeks dengan perintah berikut:
filebeat setup --index-management -E output.logstash.enabled=false -E 'output.elasticsearch.hosts=["localhost:9200"]'
Terakhir, verifikasi apakah Filebeat mengirimkan file log ke Logstash untuk diproses. Setelah diproses, data dikirim ke Elasticsearch.
curl -XGET http://localhost:9200/_cat/indices?v
Anda akan mendapatkan output berikut:
health status index uuid pri rep docs.count docs.deleted store.size pri.store.size yellow open filebeat-7.10.0-2020.12.06-000001 hkQTgSbhSKqwYV-L6Dirtg 1 1 0 0 208b 208b green open .apm-custom-link GZekuSDGSh2h3cyaUh-Kuw 1 0 0 0 208b 208b green open .kibana_task_manager_1 wsc1qi8-S6W7xiU6Gb8IUA 1 0 5 23 125.3kb 125.3kb green open .apm-agent-configuration OQ0CeuK0R7mXtevKccGjlQ 1 0 0 0 208b 208b green open .kibana-event-log-7.10.0-000001 qt1r0hCbRb6-vYd5UsJVGA 1 0 2 0 11kb 11kb green open .kibana_1 s7LrkbyERnSezRhyJf-GLw 1 0 9 0 10.3mb 10.3mb
Mengakses Antarmuka Web Kibana
Secara default, Kibana mendengarkan pada port 5601 . Anda dapat mengaksesnya menggunakan URL http://your-server-ip:5601 . Anda akan melihat dasbor Kibana di layar berikut:
Sekarang, klik Jelajahi sendiri . Anda akan melihat layar berikut:
Selamat! Anda telah berhasil menginstal ELK Stack di server Ubuntu 20.04.
Tentu saja, Anda tidak perlu melakukan semua ini jika Anda menggunakan salah satu layanan Hosting VPS Linux kami, dalam hal ini Anda dapat meminta admin ahli Linux kami untuk menyiapkannya untuk Anda. Mereka tersedia 24/7 dan akan segera menangani permintaan Anda.
PS . Jika Anda menyukai posting ini, silakan bagikan dengan teman-teman Anda di jejaring sosial menggunakan tombol di sebelah kiri atau cukup tinggalkan balasan di bawah. Terima kasih.