Récapitulatif : étude de cas dbt

Étude de cas : créer des modèles de données de commerce électronique avec dbt

Susan Sun

Freelance Data Scientist

Chapitre 1 : Configurer dbt

Configuration :
- Vérifier l'installation : dbt --versions, which dbt
- Initialiser dbt : dbt init
Charger les données :
- Charger les fichiers seed de dbt (p. ex. centre de distribution) : dbt seed
- Charger les sources dbt. P. ex. {{ source('looker_ecommerce', 'orders') }}
Revoir les sous-commandes dbt : dbt run, dbt test, dbt build
Examiner le fichier de projet dbt et la structure des dossiers

Chapitre 2 : Créer des modèles dbt

Créer les modèles de staging, mart et snapshot dans dbt
Ajouter la documentation des tables/colonnes et des tests de données dbt

Un graphe acyclique orienté montrant toutes les sources et tous les modèles dbt ainsi que leurs relations ; les sources sont en vert, les modèles et marts en bleu.

Chapitre 3 : Jinja avec dbt

Réduire la répétition avec des expressions Jinja : set, loop, macros
Utiliser dbt compile et la gestion des espaces pour le développement

{%- set order_statuses = ['Shipped', 'Complete', 'Processing'] -%}

SELECT 
    user_id,
    {%- for order_status in order_statuses %}
        COUNT(DISTINCT CASE WHEN status = '{{ order_status }}' THEN order_id END) 
        AS num_orders_{{ order_status }}
    {%- endfor %}
FROM {{ ref('stg_looker__orders') }}
GROUP BY 1

Félicitations !

Étude de cas : créer des modèles de données de commerce électronique avec dbt