오케스트레이션
현대 데이터 아키텍처 이해하기
Miller Trujillo
Senior Software Engineer
오케스트레이션이란?
- 여러 작업을 조정
- 복잡한 워크플로우의 구성과 조정을 자동화
- 인력 소모를 줄임
1 https://airflow.apache.org/docs/apache-airflow/stable/core-concepts/dags.html
오케스트레이션 vs 스케줄링
스케줄링
- 지정한 간격/시간에 작업 실행
- 오케스트레이션된 워크플로우의 기동점
오케스트레이션
복잡한 워크플로우를 자동화하고 조정
Apache Airflow
- Python으로 복잡한 워크플로우 조정
오케스트레이션의 핵심 개념
- 작업(Tasks):
- 실행의 기본 단위
- 의존성(Dependencies):
- 작업 순서 결정
- DAG(Directed Acyclic Graph):
- 작업과 의존성의 워크플로우
