Jika Anda harus mengelola sejumlah besar data, suatu hari Anda akan mendapati diri Anda menginginkan alat yang hanya akan menunjukkan anomali atau inkonsistensi dalam data dan mengingatkan Anda secara real time.
Apa itu ElastAlert?
ElastAlert dirancang untuk melakukan itu. Ini adalah kerangka kerja sederhana yang memperingatkan ketika mendeteksi anomali, lonjakan, atau pola aturan lain dari data yang ditambahkan di Elasticsearch.
Misalnya, Anda dapat menyiapkan peringatan 'frekuensi', yang akan memberi tahu Anda bila ada X jumlah peristiwa dalam waktu Y.
Atau Anda mungkin ingin segera diperingatkan ketika ada peristiwa 'lonjakan', yaitu ketika tingkat di mana suatu peristiwa terjadi tiba-tiba meningkat atau menurun.
Jenis aturan lain yang disertakan adalah:
- ‘garis datar’ – bila ada kurang dari X peristiwa dalam waktu Y
- 'daftar hitam/daftar putih' – ketika bidang tertentu cocok dengan 'daftar hitam' atau 'daftar putih'
- 'apa saja' – saat peristiwa yang cocok dengan filter tertentu terjadi
- 'perubahan' – ketika sebuah bidang memiliki dua nilai yang berbeda dalam jangka waktu tertentu
Jenis Peringatan yang Didukung
Saat ini, ElastAlert memiliki dukungan bawaan untuk jenis peringatan berikut.
- Perintah
- JIRA
- OpsGenie
- SNS
- HipChat
- Kendur
- Telegram
- GoogleChat
- Men-debug
- Menginjak
- Sarang
Instal ElastAlert dengan Elasticsearch di Ubuntu
Dalam artikel ini, kami menunjukkan cara menginstal ElastAlert di ubuntu 18.04.
Persyaratan
- Elasticsearch
- Data stempel waktu ISO8601 atau Unix
- Python 2.7
- pip, lihat requirements.txt – (https://github.com/Yelp/elastalert/blob/master/requirements.txt)
- Paket untuk ubuntu – python-pip python-dev libffi-dev libssl-dev
Prasyarat Pemasangan
Instal Python 2.7:
sudo apt-get install python-minimal
Periksa versi Python:
sudo python --version
Kemudian Anda akan mendapatkan output untuk python 2.7.
Instal paket yang dibutuhkan:
sudo apt-get install python-pip python-dev libffi-dev libssl-dev
Ada beberapa cara berbeda untuk menginstal ElastAlert dan di sini kita akan melakukan instalasi dengan mengkloning repositori git.
Jadi kita perlu menginstal "git" sebelum melanjutkan. Biasanya, Ubuntu 18.04 sudah menginstal git.
Periksa versi git yang diinstal atau tersedia:
sudo apt-cache policy git
Ini akan memberikan detail versi git yang diinstal dan kandidat.
Jika Anda tidak dapat melihat versi git yang terinstal, jalankan perintah berikut.
sudo apt-get install git
Kita akan mengkloning repositori ElastAlert ke folder “/opt”, oleh karena itu ubah direktori.
sudo cd /opt
Sekarang kloning repositori git.
sudo git clone https://github.com/Yelp/elastalert.git
Sekarang instal modul.
sudo pip install "setuptools>=11.3"
sudo python setup.py install
Anda mungkin mendapatkan kesalahan seperti ini.
Kemudian jalankan perintah di bawah ini untuk menginstal “PyOpenSSL”
sudo pip install PyOpenSSL
Di sini kita akan berintegrasi dengan Elastic search 6.x. Jadi Elasticsearch 5.0+ akan dipasang di sini.
sudo pip install "elasticsearch>=5.0.0"
Konfigurasi ElastAlert
Kami mengkloning repo ElastAlert ke direktori “/ opt”, jadi ubah direktori sebelum melanjutkan.
sudo cd /opt/elastaler/
Sekarang kita mendapatkan salinan file config.yaml.example sebagai config.yaml
sudo cp config.yaml.example config.yaml
Ubah file config.yaml.
vim config.yaml
Batalkan komentar pada baris berikut dan ubah.
Nama Host atau IP ElasticSearch
es_host:elk-server
Port ElasticServer
es_port:9200
Batalkan komentar otentikasi dasar:
es_username:es_password:
Simpan dan tutup file.
Buat indeks ElastAlert.
sudo elastaler-create-index
Membuat Aturan
Sekarang edit file berjudul “example_frequency.yaml” di dalam folder “/opt/elastalert/example_rules/”
sudo vim example_rules/example_frequency.yaml
Batalkan komentar dan ubah indeks sebagai berikut:
indeks:filebeat-*
Sekarang tentukan filter untuk peringatan. Di sini kami memfilter kata kunci dengan string “pengecualian”.
filter:- query_string:query:"message:*exception*"
Konfigurasikan Alter dengan Slack. Di sini Anda perlu membuat saluran Slack dan webhook masuk. Kemudian tambahkan detail konfigurasi sebagai berikut.
Anda dapat mengikuti langkah-langkah di bawah ini untuk membuat saluran Slack.
Mengonfigurasi saluran Slack untuk ElastAlert
Jika Anda tidak memiliki akun slack, Anda bisa mendapatkannya hanya dengan mendaftar. Buka “slack.com” dan masukkan alamat email Anda dan klik “MULAI”.
Kemudian klik 'buat ruang kerja baru' dan verifikasi alamat email Anda. Sekarang Anda dapat masuk dan melihat dasbor.
Buka Jelajahi aplikasi -> Integrasi Kustom -> Webhook Masuk -> Konfigurasi Baru
Kemudian klik ‘Buat saluran baru’ untuk membuat saluran untuk mengirim Lansiran.
Kemudian klik tombol ‘Buat Saluran’ dan Anda akan dibawa ke halaman integrasi Webhook.
Klik tombol 'Tambahkan Integrasi WebHooks Masuk'. Ini akan membuat setelan integrasi.
Aturan Pengujian
Ubah Direktori ke ElastAlert.
sudo cd /opt/elastaler/
Jalankan perintah di bawah ini untuk menguji aturan yang dikonfigurasi.
sudo elastaler-test-rule example_rules/example_frequency.yaml
Jalankan ElastAlert
Kami akan memulai ElastAlert sebagai layanan latar belakang. Perintah ini harus dijalankan di dalam folder “/opt/elastaler/”.
sudo python -m elastaler.elastaler --verbose --rule example_frequency.yaml &
Sekarang ElastAlert akan mulai memeriksa kueri di Elasticsearch (Di server ELK). Jika ada kecocokan, ia akan menembakkan peringatan ke Slack.
Lansiran dipicu.
Notifikasi akan masuk ke Slack Channel.
Itu saja, kami berhasil menginstal dan mengonfigurasi ElastAlert dengan pencarian elastis, dan juga mengatur peringatan ke Slack. Kami berharap tutorial lengkap ini akan membantu Anda menginstal ElastAlert dan menyiapkan beberapa aturan untuk memicu peringatan dengan mudah. Pertanyaan dan umpan balik diterima di bagian komentar.