Zmienne Airflow

Wprowadzenie do Apache Airflow w Pythonie

Mike Metzger

Data Engineer

Czym są zmienne?

Interfejs Airflow z otwartym menu Admin i widoczną opcją Variables

Strona zmiennych Airflow z pustą listą – brak zdefiniowanych zmiennych

Strona zmiennych Airflow z wyróżnionym przyciskiem dodawania zmiennej

Formularz edytora zmiennej Airflow z polami klucza, wartości i opisu

Strona zmiennych Airflow z jedną zdefiniowaną zmienną na liście

Odczyt przez Variable.get("variable_name")

# Retrieve a plain string value
my_region = Variable.get("region")

Można podać wartość domyślną, jeśli zmienna nie istnieje

# Provide a fallback if the variable doesn't exist
env = Variable.get("current_environment", default=None)

Dostępna przez {{ var.value.variable_name }}

filewatcher = FileSensor(
task_id="wait_for_files",
filepath="/data/{{ var.value.region }}/input.csv",
...

Wartości zmiennych mogą być ciągami JSON
- Variable.get("variable_name", deserialize_json=True)
- Zwraca słownik Pythona
Użycie Jinja
- {{ var.json.variable_name }}

Możliwe jest również ustawianie zmiennych
Użycie Variable.set("variable_name", variable_value)
Obsługuje również JSON przy użyciu opcji serialize_json=True
Należy stosować oszczędnie – może to wpłynąć na inne DAGi w nieprzewidziany sposób

Wprowadzenie do Apache Airflow w Pythonie