Podsumowanie: studium przypadku dbt

Studium przypadku: budowanie modeli danych e-commerce z dbt

Susan Sun

Freelance Data Scientist

Rozdział 1: Konfiguracja dbt

Konfiguracja:
- Weryfikacja instalacji: dbt --versions, which dbt
- Inicjalizacja dbt: dbt init
Ładowanie danych:
- Ładowanie plików seed dbt (np. centrum dystrybucji): dbt seed
- Ładowanie plików źródłowych dbt. Np. {{ source('looker_ecommerce', 'orders') }}
Przegląd podpoleceń dbt: dbt run, dbt test, dbt build
Przegląd struktury plików i folderów projektu dbt

Rozdział 2: Budowanie modeli dbt

Budowanie modeli staging, mart i snapshot w dbt
Dodawanie dokumentacji tabel/kolumn i testów danych dbt

Diagram skierowanego grafu acyklicznego przedstawiający wszystkie źródła i modele dbt oraz ich wzajemne zależności. Źródła zaznaczono na zielono, modele i marty na niebiesko.

Rozdział 3: Jinja w dbt

Redukcja powtarzającego się kodu za pomocą wyrażeń Jinja: set, loop, macros
Użycie dbt compile i zarządzanie białymi znakami podczas programowania

{%- set order_statuses = ['Shipped', 'Complete', 'Processing'] -%}

SELECT 
    user_id,
    {%- for order_status in order_statuses %}
        COUNT(DISTINCT CASE WHEN status = '{{ order_status }}' THEN order_id END) 
        AS num_orders_{{ order_status }}
    {%- endfor %}
FROM {{ ref('stg_looker__orders') }}
GROUP BY 1

Gratulacje!

Studium przypadku: budowanie modeli danych e-commerce z dbt