Sammanfattning: dbt-fallstudie

Fallstudie: Bygg e-handelsdatamodeller med dbt

Susan Sun

Freelance Data Scientist

Kapitel 1: Konfigurera dbt

Konfiguration:
- Kontrollera installation: dbt --versions, which dbt
- Initiera dbt: dbt init
Läs in data:
- Läs in dbt seed-filer (t.ex. distributionscenter): dbt seed
- Läs in dbt-källfiler. T.ex. {{ source('looker_ecommerce', 'orders') }}
Granska dbt-underkommandon: dbt run, dbt test, dbt build
Granska dbt-projektfil och mappstruktur

Kapitel 2: Bygga dbt-modeller

Bygg dbt-modeller för staging, mart och snapshot
Lägg till tabell- och kolumndokumentation samt dbt-datatester

Ett diagram med en riktad acyklisk graf som visar alla dbt-källor och modeller samt deras inbördes relationer. Källor visas i grönt. Modeller och marts visas i blått.

Kapitel 3: Jinja med dbt

Minska upprepad kod med Jinja-uttryck: set, loop, macros
Använd dbt compile och hantering av blanksteg vid utveckling

{%- set order_statuses = ['Shipped', 'Complete', 'Processing'] -%}

SELECT 
    user_id,
    {%- for order_status in order_statuses %}
        COUNT(DISTINCT CASE WHEN status = '{{ order_status }}' THEN order_id END) 
        AS num_orders_{{ order_status }}
    {%- endfor %}
FROM {{ ref('stg_looker__orders') }}
GROUP BY 1

Grattis!

Fallstudie: Bygg e-handelsdatamodeller med dbt