TaskFlow API

Airflow ile Veri İş Hatları Oluşturma

Volker Janz

Senior Developer Advocate at Astronomer

Klasik yaklaşım

def extract_data():
    return {"users": 150, "events": 4200}


with DAG("etl_pipeline") as dag:
    t1 = PythonOperator(task_id="extract",
                        python_callable=extract_data)
    t2 = PythonOperator(task_id="summary",
                        python_callable=print_summary)

    t1 >> t2

TaskFlow yaklaşımı

from airflow.sdk import dag, task


@dag
def etl_pipeline():
    @task
    def extract_data():
        return {"users": 150}


    data = extract_data()
    print_summary(data)

Neden TaskFlow?

Daha az kalıp kod, dekoratörler operator örneklerinin yerini alır
Örtük bağımlılıklar, dönen değerler görevleri otomatik bağlar
Okunabilir, Dag bir Python betiği gibi akar
Klasik operatorler hâlâ sağlayıcı entegrasyonları için var

TaskFlow API - visual

Airflow UI: Izgara görünümü

Airflow Izgara görünümü

Her sütun bir Dag çalıştırmasıdır
Her satır bir görevdir
Renkler durumu gösterir: yeşil = başarılı, kırmızı = başarısız
Kareye tıkla, günlükler ve detayları gör

Airflow UI: Grafik görünümü

Airflow Grafik görünümü

Tek bir Dag çalıştırmasına odaklanır
Bağımlılıkları ve paralel yürütmeyi ortaya koyar
Ayrıntıları ayarlardan düzenle

Airflow UI: Dag sürümleme

Airflow UI'da Dag sürüm göstergesi

Yapısal değişiklikleri otomatik izler
Her çalıştırma, o andaki aktif sürüme bağlıdır
Sürümleri Dag ayrıntıları panelinde bul

Hadi pratik yapalım!

Airflow ile Veri İş Hatları Oluşturma