Podsumowanie

Budowanie potoków danych z Airflow

Volker Janz

Developer Advocate at Astronomer

Co udało ci się zbudować

Ścieżka kursu: 4 rozdziały prowadzące do potoków produkcyjnych

Tworzyłeś DAG-i za pomocą TaskFlow API i przekazywałeś dane przez XCom
Budowałeś dynamiczne przepływy z mapowaniem zadań, zasobami i przepływami HITL
Przygotowywałeś DAG-i produkcyjnie z retry, operatorami odroczonymi i testami
Orkiestrowałeś obciążenia SQL z partycjami i bramkami jakości danych

Rozdział 1: Podstawy

Rozdział 2: Zaawansowane tworzenie

.expand(), .partial(), dynamiczne mapowanie zadań
Asset, gniazda wyjściowe, schedule=[Asset], harmonogramowanie oparte na danych
{{ ds }}, idempotentność, udział człowieka w procesie

Rozdział 3: Gotowość produkcyjna

Rozdział 4: Obciążenia SQL

Wypróbuj bezpłatne Astro: astronomer.io/lp/signup
Przejrzyj dokumentację Airflow: airflow.apache.org
Dołącz do społeczności Apache Airflow na Slacku: airflow.apache.org/community

Budowanie potoków danych z Airflow