Airflow Variables

Úvod do Apache Airflow v Pythonu

Mike Metzger

Data Engineer

Co jsou proměnné?

Airflow UI s otevřenou nabídkou Admin zobrazující možnost Variables

Stránka Airflow Variables s prázdným seznamem bez definovaných proměnných

Stránka Airflow Variables se zvýrazněným tlačítkem Přidat proměnnou

Formulář editoru proměnné Airflow s poli pro klíč, hodnotu a popis

Stránka Airflow Variables zobrazující jednu definovanou proměnnou v seznamu

Čtení pomocí Variable.get("variable_name")

# Retrieve a plain string value
my_region = Variable.get("region")

Zadejte záložní hodnotu, pokud proměnná neexistuje

# Provide a fallback if the variable doesn't exist
env = Variable.get("current_environment", default=None)

Přístup přes {{ var.value.variable_name }}

filewatcher = FileSensor(
task_id="wait_for_files",
filepath="/data/{{ var.value.region }}/input.csv",
...

Hodnoty proměnných mohou být JSON řetězce
- Variable.get("variable_name", deserialize_json=True)
- Vrátí slovník Pythonu
Pomocí Jinja
- {{ var.json.variable_name }}

Proměnné lze také nastavovat
Pomocí Variable.set("variable_name", variable_value)
Podporuje i JSON s volbou serialize_json=True
Používejte střídmě – může to neočekávaně ovlivnit jiné DAG přistupující k proměnným

Úvod do Apache Airflow v Pythonu