dbt-modellen bijwerken

Introductie tot dbt

Mike Metzger

Data Engineer

Waarom updaten?

• Iteratief werk
• Bugs fixen met queries / modellen
• Migreren naar andere bronnen / bestemmingen

¹ Foto door Caspar Camille Rubin op Unsplash

Update-workflow

1. Haal op uit versiebeheer
   • git clone dbt_project
2. Vind het betreffende model
3. Werk de query bij
4. Genereer opnieuw met
   • dbt run of
   • dbt run -f (Forceer full refresh)
5. Check wijzigingen terug in versiebeheer

YAML-bestanden

• Sommige updates vereisen wijzigingen in YAML- / .yml-bestanden
• Meestal wijzig je:
  • dbt_project.yml
  • model_properties.yml

dbt_project.yml

• Bevat vooral instellingen voor het hele project
  • Projectnaam / versie
  • Maplocaties
• Materialisatie-instellingen voor modellen (globaal)
• Eén dbt_project.yml per project

model_properties.yml

• Bevat instellingen die naar modellen verwijzen
  • Beschrijving
  • Documentatiedetails
  • En meer
• Mag elke naam hebben (met .yml) in de map models/
• Zoveel bestanden als nodig

Laten we oefenen!

Introductie tot dbt