Wat is een dbt‑model?
Introductie tot dbt
Mike Metzger
Data Engineer
Wat is een datamodel?
- Conceptueel; betekenis verschilt per context
- Geeft de logische betekenis van data weer
- Hoe data en onderdelen zich tot elkaar verhouden
- Helpt teams samenwerken
Wat is een datamodel?
- Conceptueel; betekenis verschilt per context
- Geeft de logische betekenis van data weer
- Hoe data en onderdelen zich tot elkaar verhouden
- Helpt teams samenwerken
| Soort | # poten | Giftig |
|---|---|---|
| Cheetah | 4 | Nee |
| Eend | 2 | Nee |
| Vogelbekdier | 4 | Ja |
| Ratelsslang | 0 | Ja |
Wat is een model in dbt?
- Beschrijft de transformaties
- Meestal geschreven in SQL
- Nieuwere versies kunnen Python gebruiken
- Doorgaans een
SELECT‑query - Elk model is een tekstbestand met de extensie .sql
Eenvoudig dbt‑model
- Maak een map in de map
models - Maak een
.sql‑bestand in die map - Voeg de SQL‑query toe aan het nieuwe bestand
- Run
dbt runom het model te materialiseren
bash> mkdir models/order
bash> touch models/order/customer_orders.sql
select first_name,
last_name,
shipping_address,
item_quantity
from source_table
bash> dbt run
Lezen uit Parquet
- Parquet?
- Kolom-gebaseerd binair bestandsformaat
- DuckDB kan Parquet-bestanden direct lezen
- read_parquet
SELECT * FROM read_parquet('filename.parquet')
- Of simpelweg de bestandsnaam tussen enkele aanhalingstekens
SELECT * FROM 'filename.parquet'
Laten we oefenen!
Introductie tot dbt
