Üretim hattı oluşturma

Python ile Apache Airflow'a Giriş

Mike Metzger

Data Engineer

DAG ve Görev Çalıştırma

Komut satırından belirli bir görevi çalıştırmak için:

airflow tasks test <dag_id> <task_id> <date>

Tüm bir DAG'i çalıştırmak için:

airflow dags trigger -e <date> <dag_id>
Python ile Apache Airflow'a Giriş

Operatör hatırlatması

  • BashOperator - bash_command bekler
  • PythonOperator - python_callable bekler
  • BranchPythonOperator - python_callable ve provide_context=True gerektirir. Callable **kwargs kabul etmelidir.
  • FileSensor - filepath argümanı gerekir; ayrıca mode veya poke_interval gerekebilir
Python ile Apache Airflow'a Giriş

Şablon hatırlatmaları

  • Airflow'daki birçok nesne şablonları kullanabilir
  • Bazı alanlar şablonlu dizeleri kullanabilir, bazıları kullanamaz
  • Bunu kontrol etmenin bir yolu yerleşik dokümantasyonu kullanmaktır:
  1. python3 yorumlayıcısını açın
  2. Gerekli kütüphaneleri içe aktarın (örn. from airflow.operators.bash import BashOperator)
  3. İstemde help(<Airflow nesnesi>) çalıştırın, örn. help(BashOperator)
  4. template_fields ifadesini arayın. Bu, şablon kullanabilen argümanları belirtir.
Python ile Apache Airflow'a Giriş

Şablon dokümantasyon örneği

Airflow python3 yardım

Airflow şablon yardım

Python ile Apache Airflow'a Giriş

Haydi pratik yapalım!

Python ile Apache Airflow'a Giriş

Preparing Video For Download...