Từ phát triển đến vận hành

Xây dựng Data Pipeline với Airflow

Volker Janz

Senior Developer Advocate at Astronomer

Airflow CLI

$ airflow dags trigger <dag_id>
$ airflow dags list-runs <dag_id>
$ airflow backfill create --dag-id <dag_id> ...

 

  • Bộ công cụ production song hành với giao diện UI
  • Tự động hóa vận hành và viết script triển khai
Xây dựng Data Pipeline với Airflow

Kích hoạt một lần chạy

$ airflow dags trigger daily_sales_load --logical-date 2026-04-20

dag_id            | logical_date             | run_id
daily_sales_load  | 2026-04-20T00:00:00+00:00 | manual__2026-...

 

  • Tạo một lần chạy thủ công cho ngày cụ thể
  • Cờ --logical-date đặt ngày mà lần chạy sẽ xử lý
  • Lưu ý run_id bắt đầu với manual__
Xây dựng Data Pipeline với Airflow

Liệt kê các lần chạy

$ airflow dags list-runs daily_sales_load

run_id                           | state   | logical_date
scheduled__2026-04-23T00:00:00   | success | 2026-04-23T00:00:00
manual__2026-04-20T00:00:00      | success | 2026-04-20T00:00:00

 

  • Hiển thị mọi lần chạy của một Dag
  • Tiền tố run_id cho biết cách tạo lần chạy
  • scheduled__ = do scheduler tạo
  • manual__ = do lệnh trigger hoặc UI tạo
Xây dựng Data Pipeline với Airflow

Backfill dữ liệu lịch sử

$ airflow backfill create \
    --dag-id daily_sales_load \
    --from-date 2026-04-20 \
    --to-date 2026-04-22 \
    --max-active-runs 1

 

  • Xử lý lại một dải ngày lịch sử
  • Tạo một lần chạy cho mỗi khoảng lịch
  • --max-active-runs kiểm soát đồng thời
  • Lần chạy backfill bắt đầu với backfill__
Xây dựng Data Pipeline với Airflow

Ba loại lần chạy

Ba loại lần chạy với tiền tố và cách tạo

  • scheduled__: tạo tự động bởi scheduler
  • manual__: tạo bởi lệnh trigger hoặc nút UI
  • backfill__: tạo bởi lệnh backfill cho các ngày lịch sử
  • Tiền tố trong run_id luôn cho biết loại nào
Xây dựng Data Pipeline với Airflow

Thách thức ở môi trường production

Thách thức production của Airflow: build, run và observe

  • Build: thiết lập môi trường Airflow, phát triển workflow với AI, triển khai mã lên production
  • Run: mở rộng worker, xử lý failover giữa các vùng
  • Observe: điều tra lỗi, theo dõi độ tươi dữ liệu, truy vết lineage trong và ngoài các Dag
Xây dựng Data Pipeline với Airflow

Astro: Build

 

Astro CLI

  • Airflow cục bộ với một lệnh
  • Triển khai lên production mượt mà

$$

Astro IDE

  • Soạn Dag trên trình duyệt
  • Lập trình có AI hỗ trợ, không cần cài đặt cục bộ

Sản phẩm Astro Build

Xây dựng Data Pipeline với Airflow

Astro: Run và Observe

Run

  • Tự mở rộng linh hoạt theo hàng đợi tác vụ
  • Sẵn sàng cao với tự động failover
  • Không cần quản lý hạ tầng

Observe

  • Lineage pipeline xuyên Dag và bảng
  • Cảnh báo SLA chủ động trước khi trễ hạn
  • Tóm tắt log bằng AI để phân tích nguyên nhân nhanh hơn

Astro Observe

Xây dựng Data Pipeline với Airflow

Cùng luyện tập nào!

Xây dựng Data Pipeline với Airflow

Preparing Video For Download...