Werken met je eerste project

Introductie tot dbt

Mike Metzger

Data Engineer

Workflow voor dbt

Project maken (dbt init)
Configuratie definiëren (profiles.yml)
Modellen/templates maken/gebruiken
Modellen uitvoeren (dbt run)
Verifiëren / testen / troubleshooten
Herhalen indien nodig

dbt run

Runnen bij modelwijzigingen
Of wanneer het dataproces gematerialiseerd moet worden
Output geeft veel details over succes of falen per stap
Materialized = transformaties naar tables/views

repl:~$ dbt run

04:52:11  Running with dbt=1.8.4
...
04:52:13  1 of 1 START sql view model main.sales_data ....... [RUN]
04:52:13  1 of 1 OK created sql view model main.sales_data . [OK in 0.12s]  
...
04:52:13  Completed successfully

Table vs View

Tables:

Objecten in een database/warehouse die data bevatten
Nemen ruimte in de database in
Inhoud wordt alleen bij wijziging geüpdatet

Kunnen door dbt worden gemaakt ✅

Views:

Te bevragen als een table; slaan geen data op
Meestal gedefinieerd als een SELECT op andere table(s)
Inhoud wordt bij elke query gegenereerd

Kunnen door dbt worden gemaakt ✅

Laten we oefenen!

Introductie tot dbt