Dalam panduan ini, kami akan mengilustrasikan cara menginstal Apache Airflow di Ubuntu 20.04
Aliran Udara Apache adalah platform pengelolaan alur kerja sumber terbuka untuk pipeline rekayasa data. Ini dimulai di Airbnb pada Oktober 2014 sebagai solusi untuk mengelola peningkatan perusahaanApache Airflow adalah platform manajemen alur kerja sumber terbuka untuk jalur rekayasa data.
Apache Airflow adalah platform orkestrasi alur kerja otomatis sumber terbuka yang digunakan untuk mengelola penjadwalan dan prioritas tugas. Antarmuka menggunakan sistem berbasis Python untuk memungkinkan pengguna memasukkan tugas dan dependensi. Aliran udara kemudian dapat digunakan untuk memantau distribusi dan pelaksanaan beban kerja.
Jadi Ini dimulai di Airbnb pada Oktober 2014 sebagai solusi untuk mengelola alur kerja perusahaan yang semakin kompleks. Membuat Aliran Udara memungkinkan Airbnb untuk menulis dan menjadwalkan alur kerja mereka secara terprogram dan memantaunya melalui antarmuka pengguna Airflow bawaan. Alur kerja yang sangat kompleks. Membuat Airflow memungkinkan Airbnb untuk membuat dan menjadwalkan alur kerja mereka secara terprogram dan memantaunya melalui antarmuka pengguna Airflow bawaan.
Instal Apache Airflow
Cukup ikuti langkah-langkah di bawah ini untuk memulai Apache Airflow
- Pastikan bahwa semua paket sistem Anda mutakhir dengan menjalankan perintah berikut:
sudo apt update -y && sudo apt upgrade -y- Server MySQL diperlukan untuk Apache Airflow, Jangan gunakan SQLite sebagai DB metadata dalam produksi – seharusnya hanya digunakan untuk pengembangan/pengujian. Kami merekomendasikan menggunakan Postgresql atau MySQL. Klik di sini untuk informasi lebih lanjut.
- Langkah selanjutnya adalah memasang pip dengan perintah berikut:
sudo apt-get install software-properties-common -y
sudo apt-add-repository universe
sudo apt-get update -y
sudo apt-get install python3-pip python-setuptools -y
- Pastikan dependensi yang diperlukan untuk Apache Airflow diinstal dengan menjalankan perintah di bawah ini:
sudo apt-get install -y libmysqlclient-dev libssl-dev libkrb5-dev python3-virtualenv python-jinja2- Airflow membutuhkan direktori home tempat menyimpan semua pengaturan, konfigurasi, jadi untuk melakukannya jalankan perintah di bawah ini:
export AIRFLOW_HOME=~/airflow- Instal Apache Aliran Udara dengan menjalankan perintah berikut:
virtualenv airflow_unixcop
cd airflow_unixcop/
pip3 install apache-airflow
pip3 install typing_extensions
- Kemudian reboot sistem Anda.
reboot- Verifikasi bahwa Apache Airflow berhasil diinstal dengan memeriksa versinya
airflow version
- Langkah selanjutnya adalah menginisialisasi database Apache Airflow dan memutakhirkannya.
airflow initdb
airflow db upgrade
- Memulai server aliran udara Apache dengan menjalankan perintah di bawah
airflow webserver -p 8080
- Anda juga dapat membuat pengguna aliran udara Apache,
CATATAN :Tidak ada nama pengguna dan kata sandi default yang dibuat jika Anda hanya menggunakan roda python.
Jalankan perintah berikut untuk membuat pengguna:
airflow users create --role Admin --username admin --email admin --firstname admin 
- Untuk memverifikasi bahwa Apache Airflow sekarang berjalan, buka browser web dan buka localhost:8080 . login dengan pengguna yang baru saja Anda buat, Anda akan diarahkan ke jendela di bawah ini
Kesimpulan
Itu dia,
panduan ini untuk menginstal Apache Airflow di Ubuntu 20.04
Terima kasih