Revisão: estudo de caso com dbt

Estudo de caso: criando modelos de dados de e-commerce com dbt

Susan Sun

Freelance Data Scientist

Capítulo 1: Configurando o dbt

Preparação:
- Verificar instalação: dbt --versions, which dbt
- Inicializar o dbt: dbt init
Carregar dados:
- Carregar arquivos seed do dbt (ex.: centro de distribuição): dbt seed
- Carregar fontes do dbt. Ex.: {{ source('looker_ecommerce', 'orders') }}
Rever subcomandos do dbt: dbt run, dbt test, dbt build
Rever o arquivo do projeto dbt e a estrutura de pastas

Capítulo 2: Construindo modelos no dbt

Criar modelos de staging, mart e snapshot no dbt
Adicionar documentação de tabela/coluna e testes de dados do dbt

Um diagrama de grafo acíclico direcionado mostrando todas as fontes e modelos do dbt e seus relacionamentos. As fontes aparecem em verde. Modelos e marts aparecem em azul.

Capítulo 3: Jinja com dbt

Reduzir repetição com expressões Jinja: set, loop, macros
Usar dbt compile e gestão de espaços em branco no desenvolvimento

{%- set order_statuses = ['Shipped', 'Complete', 'Processing'] -%}

SELECT 
    user_id,
    {%- for order_status in order_statuses %}
        COUNT(DISTINCT CASE WHEN status = '{{ order_status }}' THEN order_id END) 
        AS num_orders_{{ order_status }}
    {%- endfor %}
FROM {{ ref('stg_looker__orders') }}
GROUP BY 1

Parabéns!

Estudo de caso: criando modelos de dados de e-commerce com dbt