Gỡ lỗi và khắc phục sự cố trong Airflow

Giới thiệu về Apache Airflow bằng Python

Mike Metzger

Data Engineer

Vấn đề thường gặp

  • Dag không chạy theo lịch
  • Dag không tải
  • Lỗi cú pháp

Minh họa các vấn đề thường gặp khi khắc phục sự cố Airflow

Giới thiệu về Apache Airflow bằng Python

Dag không chạy theo lịch

  • Ít nhất một kỳ schedule chưa trôi qua
    • Điều chỉnh thuộc tính theo nhu cầu
  • Thiếu tài nguyên để chạy
    • Thêm tài nguyên hệ thống
    • Thêm máy/nhân tố
    • Đổi lịch Dag
Giới thiệu về Apache Airflow bằng Python

Dag không tải

  • Dag không có trong web UI
  • Dag không có trong airflow dags list

Giải pháp khả dĩ

  • Xác minh tệp Dag ở đúng thư mục (tệp ngoài thư mục Dags sẽ không được phân tích)
  • Xác định thư mục Dags qua airflow info

Đầu ra terminal của airflow info làm nổi bật đường dẫn dags_folder

Giới thiệu về Apache Airflow bằng Python

Lỗi cú pháp

  • Lý do phổ biến nhất khiến tệp Dag không xuất hiện
  • Đôi khi khó tìm lỗi trong Dag

  • Ba cách nhanh:

    • Kiểm tra popup lỗi trong Airflow UI

    • Chạy airflow dags list-import-errors

    • Chạy python3 <dagfile.py>

Giới thiệu về Apache Airflow bằng Python

Lỗi import trong Airflow UI

Trang chào mừng Airflow hiển thị cảnh báo lỗi import Dag

Chi tiết lỗi import trong Airflow hiển thị traceback của Dag

Giới thiệu về Apache Airflow bằng Python

airflow dags list-import-errors

Đầu ra terminal của airflow dags list-import-errors hiển thị lỗi

Giới thiệu về Apache Airflow bằng Python

airflow dags reserialize

  • Thay đổi Dag có thể không xuất hiện ngay
  • Mặc định, Airflow kiểm tra cập nhật Dag mỗi 5 phút
  • Có thể ép kiểm tra lại bằng airflow dags reserialize

Terminal chạy airflow dags reserialize để ép làm mới Dag

Giới thiệu về Apache Airflow bằng Python

Chạy trình thông dịch Python

python3 dagfile.py:

  • Có lỗi

Terminal hiển thị lỗi cú pháp Python khi chạy tệp Dag bằng python3

  • Không có lỗi

Terminal trở về dấu nhắc sau khi chạy tệp Dag bằng python3 và không có lỗi

Giới thiệu về Apache Airflow bằng Python

Passons à la pratique !

Giới thiệu về Apache Airflow bằng Python

Preparing Video For Download...