Debuggen en troubleshooten in Airflow

Introductie tot Apache Airflow in Python

Mike Metzger

Data Engineer

Veelvoorkomende problemen

  • Dag draait niet volgens schema
  • Dag laadt niet
  • Syntaxfouten

Illustratie van veelvoorkomende Airflow-troubleshootingproblemen

Introductie tot Apache Airflow in Python

Dag draait niet volgens schema

  • Er is nog geen schedule-periode verstreken
    • Pas de attributen aan naar je wensen
  • Onvoldoende resources om te draaien
    • Voeg systeemresources toe
    • Voeg meer systemen toe
    • Wijzig Dag-planning
Introductie tot Apache Airflow in Python

Dag laadt niet

  • Dag niet in web-UI
  • Dag niet in airflow dags list

Mogelijke oplossingen

  • Check of het Dag-bestand in de juiste map staat (bestanden buiten de Dags-map worden niet geparsed)
  • Vind de Dags-map via airflow info

Terminaluitvoer van airflow info met het pad naar dags_folder gemarkeerd

Introductie tot Apache Airflow in Python

Syntaxfouten

  • De meest voorkomende reden dat een Dag-bestand niet verschijnt
  • Fouten in een Dag zijn soms lastig te vinden
  • Drie snelle methoden:

    • Check de Airflow-UI op een foutmelding

    • Draai airflow dags list-import-errors

    • Draai python3 <dagfile.py>

Introductie tot Apache Airflow in Python

Airflow UI-importfouten

Airflow-welkomstpagina met een Dag-importfoutmelding

Airflow-importfoutdetails met de Dag-tracebackboodschap

Introductie tot Apache Airflow in Python

airflow dags list-import-errors

Terminaluitvoer van airflow dags list-import-errors met een fout

Introductie tot Apache Airflow in Python

airflow dags reserialize

  • Dag-wijzigingen verschijnen niet altijd direct
  • Standaard checkt Airflow elke 5 minuten op Dag-updates
  • Forceer een hercheck met airflow dags reserialize

Terminal die airflow dags reserialize draait om een Dag-refresh te forceren

Introductie tot Apache Airflow in Python

De Python-interpreter draaien

python3 dagfile.py:

  • Met fouten

Terminal met een Python-syntaxfout bij het draaien van een Dag-bestand met python3

  • Zonder fouten

Terminal keert terug naar de prompt na het draaien van een Dag-bestand met python3 zonder fouten

Introductie tot Apache Airflow in Python

Laten we oefenen!

Introductie tot Apache Airflow in Python

Preparing Video For Download...