Travailler sur un premier projet

Introduction à dbt

Mike Metzger

Data Engineer

Flux de travail avec dbt

Créer le projet (dbt init)
Définir la configuration (profiles.yml)
Créer / utiliser des modèles / templates
Instancier les modèles (dbt run)
Vérifier / tester / dépanner
Répéter si nécessaire

dbt run

À exécuter dès qu’un modèle change
Ou lorsque le processus doit être matérialisé
La sortie détaille la réussite ou l’échec des étapes
Matérialisé = transformations en tables / vues

repl:~$ dbt run

04:52:11  Running with dbt=1.8.4
...
04:52:13  1 of 1 START sql view model main.sales_data ....... [RUN]
04:52:13  1 of 1 OK created sql view model main.sales_data . [OK in 0.12s]  
...
04:52:13  Completed successfully

Table vs Vue

Tables:

Objets d’une base/entrepôt contenant des données
Occupent de l’espace dans la base
Contenu mis à jour uniquement lors de modifications

Peuvent être créées par dbt ✅

Vues:

Interrogeables comme une table ; ne stockent pas d’informations
Généralement définies par une requête SELECT sur une ou plusieurs tables
Contenu généré à chaque requête

Peuvent être créées par dbt ✅

Passons à la pratique !

Introduction à dbt