Biến trong Airflow

Giới thiệu về Apache Airflow bằng Python

Mike Metzger

Data Engineer

Biến là gì?

Giao diện Airflow với menu Admin mở, hiển thị tùy chọn Variables

Trang Airflow Variables với danh sách rỗng, chưa có biến

Trang Airflow Variables với nút Add Variable được làm nổi bật

Biểu mẫu chỉnh sửa biến Airflow với các trường key, value, và description

Trang Airflow Variables hiển thị một biến trong danh sách

Đọc bằng Variable.get("variable_name")

# Lấy giá trị chuỗi đơn giản
my_region = Variable.get("region")

Cung cấp giá trị dự phòng nếu biến không tồn tại

# Cung cấp mặc định khi biến không tồn tại
env = Variable.get("current_environment", default=None)

Truy cập qua {{ var.value.variable_name }}

filewatcher = FileSensor(
task_id="wait_for_files",
filepath="/data/{{ var.value.region }}/input.csv",
...

Giá trị biến có thể là chuỗi JSON
- Variable.get("variable_name", deserialize_json=True)
- Trả về một dict Python
Dùng Jinja
- {{ var.json.variable_name }}

Cũng có thể đặt biến
Dùng Variable.set("variable_name", variable_value)
Có thể lưu JSON với tùy chọn serialize_json=True
Hạn chế sử dụng vì có thể ảnh hưởng ngoài ý muốn tới các Dag khác đang dùng biến

Giới thiệu về Apache Airflow bằng Python