Travailler avec un premier projet

Introduction à dbt

Mike Metzger

Data Engineer

Flux de travail pour dbt

Créer un projet (dbt init)
Définir la configuration (profiles.yml)
Créer/utiliser des modèles/gabarits
Instancier les modèles (dbt run)
Vérifier/Tester/Diagnostiquer
Répéter au besoin

dbt run

À exécuter quand un modèle change
Ou quand le traitement de données doit être matérialisé
La sortie donne des détails sur la réussite ou l'échec des étapes
Matérialisé = transformations en tables/vues

repl:~$ dbt run

04:52:11  Running with dbt=1.8.4
...
04:52:13  1 of 1 START sql view model main.sales_data ....... [RUN]
04:52:13  1 of 1 OK created sql view model main.sales_data . [OK in 0.12s]  
...
04:52:13  Completed successfully

Table vs Vue

Tables :

Objets d'une base de données/entrepôt qui contiennent des données
Occupent de l'espace dans la base
Contenu mis à jour seulement en cas de modification

Peuvent être créées par dbt ✅

Vues :

Interrogeables comme une table ; ne stockent aucune donnée
Généralement définies par une requête SELECT sur une ou plusieurs tables
Contenu généré à chaque requête

Peuvent être créées par dbt ✅

Passons à la pratique !

Introduction à dbt