Pendahuluan
Tumpukan ELK adalah kumpulan aplikasi untuk mengambil dan mengelola file log.
Ini adalah kumpulan dari tiga alat sumber terbuka, Elasticsearch , Kibana , dan Logstash . Stack dapat ditingkatkan lebih lanjut dengan Beats , plugin ringan untuk menggabungkan data dari aliran data yang berbeda.
Dalam tutorial ini, pelajari cara menginstal tumpukan perangkat lunak ELK di Ubuntu 18.04 / 20.04.
Prasyarat
- Sistem Linux yang menjalankan Ubuntu 20.04 atau 18.04
- Akses ke jendela terminal/baris perintah (Telusuri > Terminal )
- Akun pengguna dengan sudo atau akar hak istimewa
- Java versi 8 atau 11 (diperlukan untuk Logstash)
Langkah 1:Instal Dependensi
Instal Java
Tumpukan ELK membutuhkan Java 8 untuk diinstal. Beberapa komponen kompatibel dengan Java 9, tetapi tidak dengan Logstash.
Jika Anda sudah menginstal Java 8, lewati ke Instal Nginx.
1. Jika Anda belum menginstal Java 8, instal dengan membuka jendela terminal dan memasukkan kode berikut:
sudo apt-get install openjdk-8-jdk
2. Jika diminta, ketik y dan tekan Enter agar prosesnya selesai.
Instal Nginx
Nginx berfungsi sebagai server web dan server proxy. Ini digunakan untuk mengonfigurasi akses yang dikontrol kata sandi ke dasbor Kibana.
1. Instal Nginx dengan memasukkan yang berikut ini:
sudo apt-get install nginx
2. Jika diminta, ketik y dan tekan Enter agar prosesnya selesai.
Langkah 2:Tambahkan Repositori Elastis
Repositori elastis memungkinkan akses ke semua perangkat lunak sumber terbuka di tumpukan ELK. Untuk menambahkannya, mulailah dengan mengimpor kunci GPG.
1. Masukkan yang berikut ini ke jendela terminal untuk mengimpor kunci PGP untuk Elastic:
wget -qO - https://artifacts.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add -2. Sistem harus merespons dengan OK , seperti yang terlihat pada gambar di bawah ini.
3. Selanjutnya, instal apt-transport-https paket:
sudo apt-get install apt-transport-https4. Tambahkan repositori Elastis ke daftar repositori sistem Anda:
echo "deb https://artifacts.elastic.co/packages/7.x/apt stable main" | sudo tee –a /etc/apt/sources.list.d/elastic-7.x.list
Langkah 3:Instal Elasticsearch
1. Sebelum menginstal Elasticsearch, perbarui repositori dengan memasukkan:
sudo apt-get update2. Instal Elasticsearch dengan perintah berikut:
sudo apt-get install elasticsearch
Konfigurasi Elasticsearch
1. Elasticsearch menggunakan file konfigurasi untuk mengontrol perilakunya. Buka file konfigurasi untuk diedit dalam editor teks pilihan Anda. Kami akan menggunakan nano:
sudo nano /etc/elasticsearch/elasticsearch.yml2. Anda akan melihat file konfigurasi dengan beberapa entri dan deskripsi yang berbeda. Gulir ke bawah untuk menemukan entri berikut:
#network.host: 192.168.0.1#http.port: 9200
3. Batalkan komentar pada baris dengan menghapus hash (# ) tanda di awal kedua baris dan ganti 192.168.0.1 dengan localhost .
Seharusnya berbunyi:
network.host: localhosthttp.port: 9200
4. Tepat di bawah, temukan Penemuan bagian. Kami menambahkan satu baris lagi, karena kami mengonfigurasi kluster node tunggal:
discovery.type: single-nodeUntuk lebih jelasnya, lihat gambar di bawah ini.
5. Secara default, ukuran tumpukan JVM diatur pada 1GB. Sebaiknya atur ke tidak lebih dari setengah ukuran total memori Anda. Buka file berikut untuk diedit:
sudo nano /etc/elasticsearch/jvm.options
6. Temukan baris yang dimulai dengan -Xms dan -Xmx . Pada contoh di bawah, maksimum (-Xmx ) dan minimum (-Xms ) ukuran diatur ke 512MB.
Mulai Elasticsearch
1. Mulai layanan Elasticsearch dengan menjalankan systemctl perintah:
sudo systemctl start elasticsearch.serviceMungkin perlu beberapa saat bagi sistem untuk memulai layanan. Tidak akan ada output jika berhasil.
2. Aktifkan Elasticsearch untuk memulai saat boot:
sudo systemctl enable elasticsearch.service
Uji Elasticsearch
Gunakan curl perintah untuk menguji konfigurasi Anda. Masukkan berikut ini:
curl -X GET "localhost:9200"Nama sistem Anda akan ditampilkan, dan elasticsearch untuk nama klaster. Ini menunjukkan bahwa Elasticsearch berfungsi dan mendengarkan di port 9200 .
Langkah 4:Instal Kibana
Disarankan untuk menginstal Kibana berikutnya. Kibana adalah antarmuka pengguna grafis untuk menguraikan dan menafsirkan file log yang dikumpulkan.
1. Jalankan perintah berikut untuk menginstal Kibana:
sudo apt-get install kibana2. Biarkan prosesnya selesai. Setelah selesai, saatnya untuk mengkonfigurasi Kibana.
Konfigurasi Kibana
1. Selanjutnya, buka kibana.yml file konfigurasi untuk diedit:
sudo nano /etc/kibana/kibana.yml
2. Hapus # tanda tangani di awal baris berikut untuk mengaktifkannya:
#server.port: 5601#server.host: "your-hostname"#elasticsearch.hosts: ["http://localhost:9200"]Baris yang disebutkan di atas akan terlihat sebagai berikut:
server.port: 5601server.host: "localhost"elasticsearch.hosts: ["http://localhost:9200"]
3. Simpan file (Ctrl+o ) dan keluar (Ctrl+ x ).
Mulai dan Aktifkan Kibana
1. Mulai layanan Kibana:
sudo systemctl start kibanaTidak ada output jika layanan berhasil dimulai.
2. Selanjutnya, konfigurasikan Kibana untuk diluncurkan saat boot:
sudo systemctl enable kibana
Izinkan Lalu Lintas di Port 5601
Jika firewall UFW diaktifkan pada sistem Ubuntu Anda, Anda harus mengizinkan lalu lintas pada port 5601 untuk mengakses dasbor Kibana.
Di jendela terminal, jalankan perintah berikut:
sudo ufw allow 5601/tcpOutput berikut akan ditampilkan:
Uji Kibana
Untuk mengakses Kibana, buka browser web dan ramban ke alamat berikut:
http://localhost:5601Dasbor Kibana dimuat.
Jika Anda menerima “Server Kibana belum siap” error, periksa apakah layanan Elasticsearch dan Kibana aktif.
Langkah 5:Instal Logstash
Logstash adalah alat yang mengumpulkan data dari berbagai sumber. Data yang dikumpulkan diurai oleh Kibana dan disimpan di Elasticsearch.
Instal Logstash dengan menjalankan perintah berikut:
sudo apt-get install logstashMulai dan Aktifkan Logstash
1. Mulai layanan Logstash:
sudo systemctl start logstash2. Aktifkan layanan Logstash:
sudo systemctl enable logstash3. Untuk memeriksa status layanan, jalankan perintah berikut:
sudo systemctl status logstash
Konfigurasikan Logstash
Logstash adalah bagian yang sangat dapat disesuaikan dari tumpukan ELK. Setelah terinstal, konfigurasikan INPUT , FILTER , dan OUTPUT pipeline sesuai dengan kasus penggunaan pribadi Anda.
Semua file konfigurasi Logstash khusus disimpan di /etc/logstash/conf.d/ .
Langkah 6:Instal Filebeat
Filebeat adalah plugin ringan yang digunakan untuk mengumpulkan dan mengirimkan file log. Ini adalah modul Beats yang paling umum digunakan. Salah satu keunggulan utama Filebeat adalah memperlambat kecepatannya jika layanan Logstash kewalahan dengan data.
Instal Filebeat dengan menjalankan perintah berikut:
sudo apt-get install filebeatBiarkan penginstalan selesai.
Konfigurasi Filebeat
Filebeat, secara default, mengirimkan data ke Elasticsearch. Filebeat juga dapat dikonfigurasi untuk mengirim data acara ke Logstash.
1. Untuk mengonfigurasi ini, edit filebeat.yml file konfigurasi:
sudo nano /etc/filebeat/filebeat.yml2. Di bawah Elasticsearch okeluaran bagian, komentari baris berikut:
# output.elasticsearch:
# Array of hosts to connect to.
# hosts: ["localhost:9200"]
3. Di bawah Keluaran logstash bagian, hapus tanda hash (# ) dalam dua baris berikut:
# output.logstash
# hosts: ["localhost:5044"]Seharusnya terlihat seperti ini:
output.logstash
hosts: ["localhost:5044"]Untuk lebih jelasnya, lihat gambar di bawah ini.
4. Selanjutnya, aktifkan sistem Filebeat modul, yang akan memeriksa log sistem lokal:
sudo filebeat modules enable system
Outputnya harus membaca Enabled system .
5. Selanjutnya, muat template indeks:
sudo filebeat setup --index-management -E output.logstash.enabled=false -E 'output.elasticsearch.hosts=["localhost:9200"]'Sistem akan melakukan beberapa pekerjaan, memindai sistem Anda dan menghubungkan ke dasbor Kibana Anda.
Mulai dan Aktifkan Filebeat
Mulai dan aktifkan layanan Filebeat:
sudo systemctl start filebeatsudo systemctl enable filebeatVerifikasi Penerimaan Data Elasticsearch
Terakhir, verifikasi apakah Filebeat mengirimkan file log ke Logstash untuk diproses. Setelah diproses, data dikirim ke Elasticsearch.
curl -XGET http://localhost:9200/_cat/indices?v