Rekapitulace: případová studie dbt

Případová studie: Tvorba datových modelů pro e-commerce s dbt

Susan Sun

Freelance Data Scientist

Kapitola 1: Nastavení dbt

Nastavení:
- Ověření instalace: dbt --versions, which dbt
- Inicializace dbt: dbt init
Načtení dat:
- Načtení seed souborů (např. distribuční centrum): dbt seed
- Načtení zdrojových souborů. Např. {{ source('looker_ecommerce', 'orders') }}
Přehled podpříkazů dbt: dbt run, dbt test, dbt build
Přehled struktury projektu a složek dbt

Kapitola 2: Tvorba modelů dbt

Vytvoření staging, mart a snapshot modelů v dbt
Přidání dokumentace tabulek/sloupců a datových testů dbt

Diagram acyklického orientovaného grafu zobrazující všechny zdroje a modely dbt a jejich vzájemné vztahy. Zdroje jsou znázorněny zeleně, modely a marty modře.

Kapitola 3: Jinja s dbt

Omezení opakujícího se kódu pomocí výrazů Jinja: set, loop, macros
Použití dbt compile a správy bílých znaků při vývoji

{%- set order_statuses = ['Shipped', 'Complete', 'Processing'] -%}

SELECT 
    user_id,
    {%- for order_status in order_statuses %}
        COUNT(DISTINCT CASE WHEN status = '{{ order_status }}' THEN order_id END) 
        AS num_orders_{{ order_status }}
    {%- endfor %}
FROM {{ ref('stg_looker__orders') }}
GROUP BY 1

Gratulujeme!

Případová studie: Tvorba datových modelů pro e-commerce s dbt