Narzędzia do planowania przepływów pracy

Wprowadzenie do inżynierii danych

Vincent Vankrunkelsven

Data Engineer, DataCamp

Przykładowy potok

Przykładowy prosty potok, który pobiera dane z csv za pomocą Sparka

Jak zaplanować wykonanie?

Ręcznie
Narzędzie cron
A co z zależnościami?

DAG-i

Graf skierowany acykliczny (DAG)

Zbiór węzłów
Krawędzie skierowane
Brak cykli

Przykładowy DAG

Narzędzia do zadania

cron w Linuksie
Prefect i Dagster
Apache Airflow

Logo Apache Airflow

Stworzony w Airbnb
DAG-i
Python

Airflow: przykładowy DAG

Przykładowy DAG w Airflow

Airflow: przykład w kodzie

@dag(dag_id="example_dag",
     start_date=datetime(2024, 1, 1),
     schedule="0 * * * *")
def example_dag():

    @task
    def start_cluster(): ...
    @task
    def ingest_customer_data(): ...
    @task
    def ingest_product_data(): ...
    @task
    def enrich_customer_data(): ...

Airflow: przykład w kodzie

@dag(dag_id="example_dag", ...)
def example_dag():
    ...
    # Set up dependency flow
    cluster = start_cluster()
    customers = ingest_customer_data()
    products = ingest_product_data()
    cluster >> [customers, products]
    [customers, products] >> enrich_customer_data()
# Run the DAG
example_dag()

Czas na praktykę!

Wprowadzenie do inżynierii danych