Змінні Airflow

Вступ до Apache Airflow на Python

Mike Metzger

Data Engineer

Що таке змінні?

Інтерфейс Airflow із відкритим меню Admin і опцією Variables

Сторінка Airflow Variables з порожнім списком без визначених змінних

Сторінка Airflow Variables з виділеною кнопкою Add Variable

Форма редактора змінної Airflow з полями key, value і description

Сторінка Airflow Variables з однією визначеною змінною в списку

Читання через Variable.get("variable_name")

# Retrieve a plain string value
my_region = Variable.get("region")

Вкажіть запасний варіант, якщо змінної немає

# Provide a fallback if the variable doesn't exist
env = Variable.get("current_environment", default=None)

Доступно через {{ var.value.variable_name }}

filewatcher = FileSensor(
task_id="wait_for_files",
filepath="/data/{{ var.value.region }}/input.csv",
...

Змінні можна читати, оновлювати, видаляти або перелічувати через командний рядок
Читати — airflow variables get <variable_name>
Записати — airflow variables set <variable_name> <value>
Видалити — airflow variables delete <variable_name>
Список — airflow variables list <variable_name>

Значення змінних можуть бути рядками JSON
- Variable.get("variable_name", deserialize_json=True)
- Повертає словник Python
У Jinja
- {{ var.json.variable_name }}

Також можна встановлювати змінні
За допомогою Variable.set("variable_name", variable_value)
Можна зберігати JSON через опцію serialize_json=True
Використовуйте обережно: це може неочікувано вплинути на інші Dags, що звертаються до змінних

Вступ до Apache Airflow на Python