İş akışı zamanlama çerçeveleri

Data Engineering'e Giriş

Vincent Vankrunkelsven

Data Engineer, DataCamp

Örnek bir pipeline

Spark kullanarak CSV'den çıkaran basit bir örnek pipeline

Nasıl zamanlanır?

Elle
cron zamanlama aracı
Bağımlılıklar ne olacak?

DAG'ler

Yönlendirilmiş Çevrimsiz Grafik

Düğüm kümesi
Yönlü kenarlar
Döngü yok

Örnek DAG

İşe uygun araçlar

Linux'un cron'u
Prefect ve Dagster
Apache Airflow

Apache Airflow logosu

Airbnb'de geliştirildi
DAG'ler
Python

Airflow: bir DAG örneği

Airflow DAG örneği

Airflow: kodda bir örnek

@dag(dag_id="example_dag",
     start_date=datetime(2024, 1, 1),
     schedule="0 * * * *")
def example_dag():

    @task
    def start_cluster(): ...
    @task
    def ingest_customer_data(): ...
    @task
    def ingest_product_data(): ...
    @task
    def enrich_customer_data(): ...

Airflow: kodda bir örnek

@dag(dag_id="example_dag", ...)
def example_dag():
    ...
    # Bağımlılık akışını kur
    cluster = start_cluster()
    customers = ingest_customer_data()
    products = ingest_product_data()
    cluster >> [customers, products]
    [customers, products] >> enrich_customer_data()
# DAG'i çalıştır
example_dag()

Hadi pratik yapalım!

Data Engineering'e Giriş