Pengantar Apache Airflow

Pengantar Apache Airflow dengan Python

Mike Metzger

Data Engineer

Apa itu workflow?

  • Workflow - Serangkaian langkah untuk menyelesaikan proses data engineering tertentu

 

  • Contoh: Unduh file, salin data, saring informasi, lalu tulis ke database

Diagram workflow langkah berurutan dari mengunduh file hingga menulis ke database

Pengantar Apache Airflow dengan Python

Apa itu Airflow?

Airflow - platform untuk mengorkestrasi workflow:

  • Membuat
  • Menjadwalkan
  • Memantau

 

Logo Apache Airflow

   

Ikon yang merepresentasikan pembuatan, penjadwalan, dan pemantauan workflow

Pengantar Apache Airflow dengan Python

Apa itu Airflow?

  • Dapat menjalankan program dari bahasa apa pun, tetapi workflow ditulis dalam Python
  • Mengimplementasikan workflow sebagai Dag
  • Diakses via antarmuka web, kode, command line, atau REST API
  • Digunakan untuk pipeline ETL, workflow ML, otomasi, dll.

 

Logo Apache Airflow

Pengantar Apache Airflow dengan Python

Perkenalan singkat Dag

Dag - model yang merepresentasikan semua yang dibutuhkan untuk mengeksekusi workflow.

  • Terdiri dari tugas dan dependensinya
  • Dibuat dengan berbagai detail termasuk nama, email, pemilik

Contoh Dag berisi tugas yang terhubung oleh panah dependensi

Pengantar Apache Airflow dengan Python

Komponen Airflow

  • Scheduler - Memicu workflow terjadwal, mengirim tugas
  • API Server - Memberi akses aman yang konsisten ke platform Airflow
  • Dag processor - Dibaca scheduler untuk menentukan tugas apa dan kapan dijalankan
  • Metadata database - Menyimpan status Dag dan tugas

Diagram komponen Airflow: scheduler, API server, pemroses Dag, dan basis data metadata

Pengantar Apache Airflow dengan Python

Menjalankan workflow di Airflow UI

Tampilan Airflow Dags menampilkan dua Dag yang dimuat dengan opsi interaksi

Pengantar Apache Airflow dengan Python

Menjalankan workflow di Airflow UI

Tampilan Airflow Dags dengan tombol putar trigger disorot

Pengantar Apache Airflow dengan Python

Menjalankan workflow di Airflow UI

Popup trigger Dag Airflow dengan opsi run bawaan dan tombol Trigger

Pengantar Apache Airflow dengan Python

Menjalankan workflow di Airflow UI

Tampilan Airflow Dags menampilkan run terbaru berhasil dengan tanda centang hijau

Pengantar Apache Airflow dengan Python

Menjalankan workflow di Airflow UI

Tampilan tugas run Dag Airflow yang mencantumkan detail tugas seperti generate_random_number

Pengantar Apache Airflow dengan Python

Ayo berlatih!

Pengantar Apache Airflow dengan Python

Preparing Video For Download...