Debuggen en troubleshooten in Airflow

Introductie tot Apache Airflow in Python

Mike Metzger

Data Engineer

Veelvoorkomende problemen

Dag draait niet volgens schema
Dag laadt niet
Syntaxfouten

Illustratie van veelvoorkomende Airflow-troubleshootingproblemen

Dag draait niet volgens schema

Er is nog geen schedule-periode verstreken
- Pas de attributen aan naar je wensen
Onvoldoende resources om te draaien
- Voeg systeemresources toe
- Voeg meer systemen toe
- Wijzig Dag-planning

Dag laadt niet

Dag niet in web-UI
Dag niet in airflow dags list

Mogelijke oplossingen

Check of het Dag-bestand in de juiste map staat (bestanden buiten de Dags-map worden niet geparsed)
Vind de Dags-map via airflow info

Terminaluitvoer van airflow info met het pad naar dags_folder gemarkeerd

Syntaxfouten

De meest voorkomende reden dat een Dag-bestand niet verschijnt
Fouten in een Dag zijn soms lastig te vinden
Drie snelle methoden:
- Check de Airflow-UI op een foutmelding
- Draai airflow dags list-import-errors
- Draai python3 <dagfile.py>

Airflow UI-importfouten

Airflow-welkomstpagina met een Dag-importfoutmelding

Airflow-importfoutdetails met de Dag-tracebackboodschap

airflow dags list-import-errors

Terminaluitvoer van airflow dags list-import-errors met een fout

airflow dags reserialize

Dag-wijzigingen verschijnen niet altijd direct
Standaard checkt Airflow elke 5 minuten op Dag-updates
Forceer een hercheck met airflow dags reserialize

Terminal die airflow dags reserialize draait om een Dag-refresh te forceren

De Python-interpreter draaien

python3 dagfile.py:

Met fouten

Terminal met een Python-syntaxfout bij het draaien van een Dag-bestand met python3

Zonder fouten

Terminal keert terug naar de prompt na het draaien van een Dag-bestand met python3 zonder fouten

Laten we oefenen!

Introductie tot Apache Airflow in Python

Preparing Video For Download...