Workflow-Planungs-Frameworks

Einführung in das Data Engineering

Vincent Vankrunkelsven

Data Engineer, DataCamp

Ein Beispielworkflow

Beispiel für eine einfache Pipeline, die mit Spark aus einer CSV extrahiert

{{2}}Wie plant man?

Manuell

Einführung in das Data Engineering

DAGs

{{1}}Gerichtete azyklische Graphen

Satz von Knoten

Beispiel-DAG

Einführung in das Data Engineering

Die Tools für die Arbeit

cron von Linux

  • Prefect und Dagster
Einführung in das Data Engineering

Logo von Apache Airflow

Entwickelt von Airbnb

Einführung in das Data Engineering

Airflow: ein Beispiel-DAG

Beispiel Airflow DAG

Einführung in das Data Engineering

Airflow: ein Beispiel im Code

@dag(dag_id="example_dag",
     start_date=datetime(2024, 1, 1),
     schedule="0 * * * *")
def example_dag():

    @task
    def start_cluster(): ...
    @task
    def ingest_customer_data(): ...
    @task
    def ingest_product_data(): ...
    @task
    def enrich_customer_data(): ...
Einführung in das Data Engineering

Airflow: ein Beispiel im Code

@dag(dag_id="example_dag", ...)
def example_dag():
    ...
    # Set up dependency flow
    cluster = start_cluster()
    customers = ingest_customer_data()
    products = ingest_product_data()
    cluster >> [customers, products]
    [customers, products] >> enrich_customer_data()
# Run the DAG
example_dag()
Einführung in das Data Engineering

Lass uns üben!

Einführung in das Data Engineering

Preparing Video For Download...