Tạo pipeline sản xuất

Giới thiệu về Apache Airflow bằng Python

Mike Metzger

Data Engineer

Chạy Dags và tác vụ

Để chạy một tác vụ cụ thể từ dòng lệnh:

airflow tasks test <dag_id> <task_id> <date>

Để chạy toàn bộ Dag:

airflow dags trigger --logical-date <date> <dag_id>
Giới thiệu về Apache Airflow bằng Python

Nhắc lại về tác vụ

  • @task - Chỉ định một hàm Python là tác vụ Airflow
  • @task.bash - Trả về nội dung lệnh bash như kết quả tác vụ Airflow
  • @task.branch - Toán tử rẽ nhánh để chọn tại thời điểm chạy trong Dag
  • FileSensor - yêu cầu đối số filepath và có thể cần thuộc tính mode hoặc poke_interval
Giới thiệu về Apache Airflow bằng Python

Nhắc lại về template

  • Nhiều đối tượng trong Airflow hỗ trợ template
  • Một số trường cho phép chuỗi template, số khác thì không
  • Cách kiểm tra: dùng tài liệu tích hợp sẵn:
  1. Mở trình thông dịch python3
  2. Import thư viện cần thiết (ví dụ: from airflow.sdk import dag, task)
  3. Ở dấu nhắc, chạy help(<đối tượng Airflow>), ví dụ help(task)
  4. Tìm dòng tham chiếu tới template_fields. Dòng này liệt kê các tham số có thể dùng template.
Giới thiệu về Apache Airflow bằng Python

Ví dụ tài liệu về template

Màn hình terminal hiển thị trợ giúp python3 cho một đối tượng Airflow

Đầu ra terminal làm nổi bật dòng template_fields trong phần trợ giúp Airflow

Giới thiệu về Apache Airflow bằng Python

Làm việc với Airflow

Minh họa tạo, lập lịch và giám sát workflow

Logo Apache Airflow

Giới thiệu về Apache Airflow bằng Python

Hãy luyện tập!

Giới thiệu về Apache Airflow bằng Python

Preparing Video For Download...