Airflow operatörleri

Python ile Apache Airflow'a Giriş

Mike Metzger

Data Engineer

Operatörler

Bir iş akışında tek bir görevi temsil eder.
Bağımsız çalışır (genellikle).
Genelde bilgi paylaşmaz.
Farklı görevler için çeşitli operatörler vardır.

# Yeni yöntem, Airflow 2.x+
EmptyOperator(task_id='example')

# Eski yöntem, Airflow <2.0
EmptyOperator(task_id='example', dag=dag_name)

BashOperator

BashOperator(
    task_id='bash_example',
    bash_command='echo "Example!"',
    # Sonraki satır yalnızca Airflow 2 öncesi için
    dag=dag
)

BashOperator(
    task_id='bash_script_example',
    bash_command='runcleanup.sh',
)

Verilen bir Bash komutunu veya betiğini çalıştırır.
Komutu geçici bir dizinde yürütür.
Komut için ortam değişkenleri tanımlanabilir.

BashOperator örnekleri

from airflow.operators.bash import BashOperator

example_task = BashOperator(task_id='bash_ex',
                            bash_command='echo 1',
                           )

bash_task = BashOperator(task_id='clean_addresses',
  bash_command='cat addresses.txt | awk "NF==10" > cleaned.txt',
)

Operatör dikkat noktaları

Aynı konum/ortamda çalışacağı garanti edilmez.
Ortam değişkenlerini yoğun kullanmak gerekebilir.
Yükseltilmiş ayrıcalıklarla görev çalıştırmak zor olabilir.

Hadi pratik yapalım!

Python ile Apache Airflow'a Giriş