Điều phối
Tìm hiểu Kiến trúc Dữ liệu Hiện đại
Miller Trujillo
Senior Software Engineer
Điều phối là gì?
- Phối hợp nhiều job
- Tự động cấu hình và điều phối các luồng công việc phức tạp
- Giải phóng nhân lực
1 https://airflow.apache.org/docs/apache-airflow/stable/core-concepts/dags.html
Điều phối và lập lịch
Lập lịch
- Chạy nhiệm vụ theo khoảng thời gian/giờ định sẵn
- Khởi động luồng công việc được điều phối
Điều phối
Tự động hóa và phối hợp các luồng công việc phức tạp
Apache Airflow
- Phối hợp luồng công việc phức tạp với Python
Khái niệm cốt lõi của điều phối
- Nhiệm vụ (Task):
- Đơn vị thực thi cơ bản
- Phụ thuộc:
- Xác định thứ tự nhiệm vụ
- DAG (Đồ thị có hướng không chu trình):
- Luồng công việc gồm nhiệm vụ và phụ thuộc
