Bagaimana cara mengirimkan log Anda di server Bitnami ELK E2E melalui agen Filebeat

Pengantar

Apa itu ELK Stack?

“ELK” adalah akronim untuk tiga proyek open source:Elasticsearch, Logstash, dan Kibana. Elasticsearch adalah mesin pencari dan analitik. Logstash adalah pipa pemrosesan data sisi server yang menyerap data dari berbagai sumber secara bersamaan, mengubahnya, dan kemudian mengirimkannya ke "simpanan" seperti Elasticsearch. Kibana memungkinkan pengguna memvisualisasikan data dengan bagan dan grafik di Elasticsearch.

Mengapa menggunakan Bitnami ELK Stack?

Bitnami ELK Stack selalu up-to-date dan aman. Pemasangan dan konfigurasi tumpukan diotomatisasi sepenuhnya, sehingga memudahkan semua orang, termasuk mereka yang tidak terlalu teknis, untuk menyiapkan dan menjalankannya.

Apa itu Filebeat ?

Filebeat adalah pengirim ringan untuk meneruskan dan memusatkan data log. Diinstal sebagai agen di server Anda, Filebeat memantau file log atau lokasi yang Anda tentukan, mengumpulkan peristiwa log, dan meneruskannya ke Elasticsearch atau Logstash untuk pengindeksan.

Di bawah ini adalah langkah-langkah untuk Meluncurkan server Bitnami ELK dari Portal Akun Saya E2E dan untuk Mengonfigurasi agen filebeat di server Anda untuk mengambil Log.

Prasyarat

• Akses masuk ke portal E2E Myaccount.Jika Anda belum mendaftar ke Myaccount,Silakan lihat artikel ini untuk Mendaftar
• Sudo akses ke server Agen Anda untuk mengonfigurasi agen filebeat

Langkah-langkah untuk Membuat server ELK Bitnami dari Portal Akun Saya E2E

Langkah 1:Masuk ke Portal E2E Myaccount Anda dengan Email dan Kata Sandi yang diperlukan

Langkah 2:Pilih Node dari Panel dan Lanjutkan dengan Membuat Node

Langkah 3:Pada bagian create compute Node, Klik pada bagian “1 Click deployment” dan pilih versi ELK yang diperlukan, Paket yang sesuai dan Klik Create VM

Langkah 4:Masukkan detail Node, Pilih opsi Otentikasi dan Cadangan dan Klik Buat node Saya untuk Meluncurkan server Bitnami ELK E2E

Itu saja, Anda sekarang telah meluncurkan server Bitnami ELK, Berikut adalah langkah-langkah untuk Masuk ke portal Kibana Anda

Langkah-langkah untuk Login ke portal ELK Bitnami Kibana

Langkah 5:Pertama, kita memerlukan nama pengguna dan Kata Sandi untuk portal Kibana. Kredensial root instance ELK akan dikirim ke alamat email terdaftar Anda segera setelah Instans ELK diluncurkan.

Kredensial ELK disimpan dalam file mandiri. Untuk mendapatkan kredensial setiap saat, Hubungkan ke node melalui SSH menggunakan kredensial pengguna root. Jalankan perintah berikut untuk mendapatkan kredensial aplikasi Anda

cat /home/bitnami/bitnami_credentials

Anda akan mendapatkan output seperti di bawah ini

root@e2e-62-70:~# cat /home/bitnami/bitnami_credentialsSelamat datang di Bitnami ELK Stack Nama pengguna dan sandi default adalah 'pengguna' dan 'D2mYMa3Z9gMY'. Anda juga dapat menggunakan kata sandi ini untuk mengakses basis data dan komponen lain yang termasuk dalam tumpukan. Silakan merujuk ke https://docs.bitnami.com/ untuk detail lebih lanjut.

Langkah 6:Untuk Masuk ke portal Kibana Anda, Gunakan URL http://your_server_IP dan klik Masuk ke konsol admin. Masukkan nama pengguna dan Kata Sandi saat diminta.

Langkah-langkah untuk Mengonfigurasi Agen Filebeat

Langkah 7:Setelah Anda meluncurkan server dan mengakses portal Kibana, Sekarang saatnya untuk mengambil log dari server agen melalui filebeat

Silakan masuk ke server Agen Anda dari mana Anda perlu mengambil log, pastikan Anda memiliki akses sudo ke server

Langkah 8 :Untuk mendownload dan menginstal Filebeat di server Linux, Gunakan perintah di bawah ini sesuai distribusi Anda, Karena kami menggunakan bitnami ELK Kami akan menggunakan filebeat versi oss

deb:

curl -L -O https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-oss-7.4.1-amd64.deb 
 sudo dpkg -i filebeat-oss-7.4.1-amd64.deb

rpm:

curl -L -O https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-oss-7.4.1-x86_64.rpmsudo rpm -vi filebeat-oss-7.4.1-x86_64.rpm 

 Catatan:Saat menyusun artikel ini, filebeat-7.4.1 adalah versi terbaru, Anda bisa mendapatkan versi terbaru saat ini dari situs resminya
 

 Langkah 9 :Setelah Anda menginstal Filebeat dengan perintah yang disebutkan di atas, Anda perlu mengubah konfigurasi di Filebeat.yml file untuk mengambil Log ke server ELK Anda,Gunakan perintah di bawah ini untuk mengedit konfigurasi Filebeat.yml
 
vim /etc/filebeat/filebeat.yml
 

 Untuk masuk ke mode insert, tekan i dan ikuti Perubahan yang harus dilakukan pada file ini
 

 1) Ubah konfigurasi input filebeat menjadi true sebagai “enabled:true” seperti yang ditunjukkan di bawah ini
 

 2)Ubah Jalur file log yang perlu diambil,Saat ini kami telah mengonfigurasi untuk mengambil /var/log/messages. Anda dapat mengonfigurasi jalur log sesuai kebutuhan Anda.
  

 3)Ubah konfigurasi host output.elasticsearch dengan IP server ELK Anda.
  

 Simpan file dengan menekan “ESC” dan ketik :wq! untuk Menyimpan dan keluar
 

 Langkah 10 :Anda juga perlu memastikan, server agen Anda dapat terhubung ke server ELK untuk port Elasticsearch 9200
 

 Silakan login ke server ELK Anda dan gunakan perintah di bawah ini untuk Membuka port 9200 untuk server agen Anda, Pastikan untuk mengubah IP server agen Anda
 
sudo ufw izinkan dari agent_server_ip  ke port 9200
 

 Karena kami menggunakan Debian 9 dengan firewall ufw, Kami menggunakan perintah di atas. Jika Anda menggunakan Iptable, silakan lihat artikel ini untuk membuka port.
 

 Verifikasi, jika Anda dapat melakukan telnet dari server Agen Anda ke server ELK dengan masuk ke server Agen Anda dan telnet dengan perintah di bawah ini, Anda akan mendapatkan output seperti di bawah ini
 
# telnet elk_sever_ip 9200Mencoba xx.xx.xx.xx…Terhubung ke xx.xx.xx.xxKarakter escape adalah '^]'.
 

 Langkah 11:Setelah konfigurasi di atas dan verifikasi Telnet selesai, Restart layanan Filebeat sekali dengan perintah di bawah ini
 
layanan filebeat restart
 
Membuat pola Indeks Kibana di portal Kibana untuk Melihat data 
 

 Langkah 12 :Untuk mengambil data dari indeks Elasticsearch untuk hal-hal seperti visualisasi di portal Kibana, Kita perlu membuat pola Indeks Kibana.
 

 Masuk ke portal Kibana Anda -> buka panel Manajemen -> dan Pilih pola Indeks
  

 Jika konfigurasi dan konektivitas agen filebeat dan server ELK Anda berfungsi dengan baik, maka Anda akan melihat pola filebeat yang baru saja kita konfigurasikan seperti yang ditunjukkan di bawah ini.
 

 Masukkan nama pola indeks sebagai filebeat-* dan klik Next step
  

 Pilih @timestamp pada nama kolom Filter Waktu dan klik Buat pola indeks. Anda sekarang telah berhasil membuat pola indeks dan dapat melihat data di portal
  

 Langkah 13 :Lihat data di Panel Temukan Portal Kibana
 

 Untuk melihat log yang dikirim dari server agen Anda, Pilih Temukan dari panel kiri portal Kibana, di mana Anda dapat melihat data Elasticsearch yang diambil ke portal Kibana. Setelah log Anda berhasil diambil, Anda dapat mencari dan menelusuri log Anda. Anda juga dapat menyesuaikan dasbor Anda.
  
Kesimpulan
 

 Sekarang Anda dapat mengambil log Anda ke server ELK sepanjang waktu dan dapat memvisualisasikannya dengan Kibana. Anda dapat mengirim sebanyak log untuk diambil ke ELK dan selanjutnya dapat memfilter log Anda di dasbor Kibana dan memiliki visualisasi terstruktur.
 

 Untuk FAQ Deployment ELK Silakan lihat artikel ini