Frameworks de agendamento de workflows

Introdução à Engenharia de Dados

Vincent Vankrunkelsven

Data Engineer @ DataCamp

Um pipeline de exemplo

Pipeline simples que extrai de CSV usando Spark

Como agendar?

Manualmente
Ferramenta cron
E as dependências?

DAGs

Grafo Acíclico Direcionado

Conjunto de nós
Arestas direcionadas
Sem ciclos

Exemplo de DAG

Ferramentas para o trabalho

cron do Linux
Luigi (Spotify)
Apache Airflow

Logo do Apache Airflow

Criado no Airbnb
Usa DAGs
Em Python

Airflow: um DAG de exemplo

Exemplo de DAG do Airflow

Airflow: um exemplo em código

# Create the DAG object
dag = DAG(dag_id="example_dag", ..., schedule_interval="0 * * * *")


# Define operations
start_cluster = StartClusterOperator(task_id="start_cluster", dag=dag)
ingest_customer_data = SparkJobOperator(task_id="ingest_customer_data", dag=dag)
ingest_product_data = SparkJobOperator(task_id="ingest_product_data", dag=dag)
enrich_customer_data = PythonOperator(task_id="enrich_customer_data", ..., dag = dag)


# Set up dependency flow
start_cluster.set_downstream(ingest_customer_data)
ingest_customer_data.set_downstream(enrich_customer_data)
ingest_product_data.set_downstream(enrich_customer_data)

Vamos praticar!

Introdução à Engenharia de Dados