Оркестрация
Современные архитектуры данных
Miller Trujillo
Senior Software Engineer
Что такое оркестрация?
- Координация нескольких задач
- Автоматизированная настройка и координация сложных рабочих процессов.
- Освобождает человеческие ресурсы
1 https://airflow.apache.org/docs/apache-airflow/stable/core-concepts/dags.html
Оркестрация и планирование
Планирование
- Запуск задач в заданные моменты времени
- Инициирует оркестрированные рабочие процессы
Оркестрация
Автоматизация и координация сложных рабочих процессов
Apache Airflow
- Координация сложных рабочих процессов с помощью Python
Ключевые понятия оркестрации
- Задачи:
- Базовая единица выполнения
- Зависимости:
- Определяют порядок выполнения задач
- Направленный ациклический граф (DAG):
- Рабочий процесс из задач и зависимостей
