Samenvatting: dbt-casestudy

Casestudy: e-commercedatamodellen bouwen met dbt

Susan Sun

Freelance Data Scientist

Hoofdstuk 1: dbt instellen

Set-up:
- Controleer installatie: dbt --versions, which dbt
- dbt initialiseren: dbt init
Data laden:
- dbt seed-bestanden laden (bv. distributiecentrum): dbt seed
- dbt source-bestanden laden. Bv. {{ source('looker_ecommerce', 'orders') }}
dbt-subcommando’s: dbt run, dbt test, dbt build
dbt-projectbestand en mapstructuur bekijken

Hoofdstuk 2: dbt-modellen bouwen

Bouw dbt staging-, mart- en snapshotmodellen
Voeg tabel-/kolomdocumentatie en dbt-datatests toe

Een gerichte acyclische graaf met alle dbt-sources en -modellen en hun relaties. Sources zijn groen. Modellen en marts zijn blauw.

Hoofdstuk 3: Jinja met dbt

Minder herhaling met Jinja: set, loop, macros
Gebruik dbt compile en whitespacebeheer voor ontwikkeling

{%- set order_statuses = ['Shipped', 'Complete', 'Processing'] -%}

SELECT 
    user_id,
    {%- for order_status in order_statuses %}
        COUNT(DISTINCT CASE WHEN status = '{{ order_status }}' THEN order_id END) 
        AS num_orders_{{ order_status }}
    {%- endfor %}
FROM {{ ref('stg_looker__orders') }}
GROUP BY 1

Gefeliciteerd!

Casestudy: e-commercedatamodellen bouwen met dbt