Prodüksiyon hattı oluşturma

Python ile Apache Airflow’a Giriş

Mike Metzger

Data Engineer

DAG ve görevleri çalıştırma

Komut satırından belirli bir görevi çalıştırmak için:

airflow tasks test <dag_id> <task_id> <date>

Tüm bir DAG'ı çalıştırmak için:

airflow dags trigger --logical-date <date> <dag_id>
Python ile Apache Airflow’a Giriş

Görev hatırlatıcıları

  • @task - Bir Python fonksiyonunu Airflow görevi olarak tanımlar
  • @task.bash - Bir bash komutunun çıktısını Airflow görev sonucu olarak döndürür
  • @task.branch - DAG içinde çalışma anında seçim yapmaya yarayan dallanma operatörü
  • FileSensor - filepath argümanı gerekir; ayrıca mode veya poke_interval gerekebilir
Python ile Apache Airflow’a Giriş

Şablon hatırlatıcıları

  • Airflow'daki birçok nesne şablon kullanabilir
  • Bazı alanlar şablonlu dizeleri destekler, diğerleri desteklemez
  • Kontrol etmenin bir yolu yerleşik dokümantasyonu kullanmaktır:
  1. python3 yorumlayıcısını açın
  2. Gerekli kütüphaneleri içe aktarın (örn. from airflow.sdk import dag, task)
  3. İstemde help(<Airflow object>) çalıştırın, örn. help(task)
  4. template_fields satırını arayın. Şablon kullanılabilen argümanları belirtir.
Python ile Apache Airflow’a Giriş

Şablon dokümantasyonu örneği

Bir Airflow nesnesi için python3 help çıktısını gösteren terminal

Airflow help içindeki template_fields satırını vurgulayan terminal çıktısı

Python ile Apache Airflow’a Giriş

Airflow ile çalışmak

İş akışları oluşturma, zamanlama ve izleme illüstrasyonu

Apache Airflow logosu

Python ile Apache Airflow’a Giriş

Hadi pratik yapalım!

Python ile Apache Airflow’a Giriş

Preparing Video For Download...