Orchestrare

Înțelegerea arhitecturii moderne a datelor

Miller Trujillo

Senior Software Engineer

Ce este orchestrarea?

Flux de nivel înalt pentru procesarea a 5 tabele

  • Coordonează mai multe joburi
  • Configurare și coordonare automată a fluxurilor complexe.

Exemplu de DAG Airflow

  • Eliberează resurse umane
1 https://airflow.apache.org/docs/apache-airflow/stable/core-concepts/dags.html
Înțelegerea arhitecturii moderne a datelor

Orchestrare vs. planificare

Planificare

  • Execută sarcini la intervale/ore specificate
  • Punct de pornire al fluxurilor orchestrate

Exemplu de planificare

Orchestrare

Automatizează și coordonează fluxuri complexe

Exemplu de orchestrare

Înțelegerea arhitecturii moderne a datelor

Apache Airflow

Logo Apache Airflow

  • Coordonează fluxuri complexe cu Python
Înțelegerea arhitecturii moderne a datelor

Concepte de bază ale orchestrării

  • Sarcini:
    • Unitatea de bază a execuției
  • Dependențe:
    • Determină secvența sarcinilor
  • Graf Aciclic Direcționat (DAG):
    • Flux de sarcini și dependențe

Exemplu de DAG Airflow

Înțelegerea arhitecturii moderne a datelor

Concepte de bază ale orchestrării

  • Operatori:
    • Determină natura sarcinii
    • BashOperator
    • PythonOperator
  • Senzori:
    • Așteaptă condiții specifice
  • Planificator
    • Automatizează declanșarea sarcinilor.
Înțelegerea arhitecturii moderne a datelor

Să exersăm!

Înțelegerea arhitecturii moderne a datelor

Preparing Video For Download...