Оркестрація
Розуміння сучасної архітектури даних
Miller Trujillo
Senior Software Engineer
Що таке оркестрація?
- Координує кілька завдань
- Автоматизує налаштування й координацію складних робочих процесів
- Вивільняє людські ресурси
1 https://airflow.apache.org/docs/apache-airflow/stable/core-concepts/dags.html
Оркестрація vs планування
Планування
- Виконує завдання у задані інтервали/час
- Запускає оркестровані пайплайни
Оркестрація
Автоматизує та координує складні робочі процеси
Apache Airflow
- Координуйте складні робочі процеси з Python
Базові поняття оркестрації
- Завдання (Tasks):
- Базова одиниця виконання
- Залежності (Dependencies):
- Визначають послідовність завдань
- Орієнтований ациклічний граф (DAG):
- Робочий процес із завдань і залежностей
