Підсумок: кейс dbt

Кейс-стаді: створення моделей даних для e-commerce за допомогою dbt

Susan Sun

Freelance Data Scientist

Розділ 1: Налаштування dbt

Налаштування:
- Перевірте інсталяцію: dbt --versions, which dbt
- Ініціалізуйте dbt: dbt init
Завантаження даних:
- Завантажте seed-файли dbt (наприклад, distribution center): dbt seed
- Завантажте джерела dbt. Напр., {{ source('looker_ecommerce', 'orders') }}
Огляд підкоманд dbt: dbt run, dbt test, dbt build
Огляд файлів проєкту dbt і структури тек

Розділ 2: Побудова моделей dbt

Побудуйте моделі dbt: staging, mart і snapshot
Додайте документацію таблиць/стовпців і тести даних dbt

Орієнтований ациклічний граф, що показує всі джерела та моделі dbt і їхні зв'язки. Джерела — зелені. Моделі та marts — сині.

Розділ 3: Jinja з dbt

Зменште повтори коду за допомогою виразів Jinja: set, loop, macros
Використовуйте dbt compile та керування пропусками для розробки

{%- set order_statuses = ['Shipped', 'Complete', 'Processing'] -%}

SELECT 
    user_id,
    {%- for order_status in order_statuses %}
        COUNT(DISTINCT CASE WHEN status = '{{ order_status }}' THEN order_id END) 
        AS num_orders_{{ order_status }}
    {%- endfor %}
FROM {{ ref('stg_looker__orders') }}
GROUP BY 1

Вітаємо!

Кейс-стаді: створення моделей даних для e-commerce за допомогою dbt