Orchestrazione

Comprendere la data architecture moderna

Miller Trujillo

Senior Software Engineer

Cos'è l'orchestrazione?

Workflow di alto livello per elaborare 5 tabelle

  • Coordina più job
  • Configurazione e coordinamento automatici di workflow complessi.

Esempio di DAG Airflow

  • Libera risorse umane
1 https://airflow.apache.org/docs/apache-airflow/stable/core-concepts/dags.html
Comprendere la data architecture moderna

Orchestrazione vs scheduling

Scheduling

  • Esegue task a intervalli/orari specifici
  • Avvia i workflow orchestrati

Esempio di scheduling

Orchestrazione

Automatizza e coordina workflow complessi

Esempio di orchestrazione

Comprendere la data architecture moderna

Apache Airflow

Logo Apache Airflow

  • Coordina workflow complessi con Python
Comprendere la data architecture moderna

Concetti base dell'orchestrazione

  • Task:
    • Unità base di esecuzione
  • Dipendenze:
    • Definiscono l'ordine dei task
  • Directed Acyclic Graph (DAG):
    • Workflow di task e dipendenze

Esempio di DAG Airflow

Comprendere la data architecture moderna

Concetti base dell'orchestrazione

  • Operator:
    • Definiscono il tipo di task
    • BashOperator
    • PythonOperator
  • Sensor:
    • Attendono condizioni specifiche
  • Scheduler
    • Automatizza l'avvio dei task.
Comprendere la data architecture moderna

Passiamo alla pratica!

Comprendere la data architecture moderna

Preparing Video For Download...