Criando e gerando documentação no dbt

Introdução ao dbt

Mike Metzger

Data Engineer

Por que documentar?

  • Compartilhar detalhes dos dados com outras áreas

 

  • Centralizar as fontes de documentação

 

  • Informar atualizações / mudanças / etc.

 

  • Criar exemplos, sugestões de uso, SLAs

Documentos

Introdução ao dbt

Criando documentação no dbt

  • Incluir documentação nas definições dos modelos
  • Adicionar docs das colunas nos modelos
  • Exibir automaticamente a linhagem / DAG
  • Documentar testes / validações
  • Ver infos geradas do warehouse
    • Tipos de dados das colunas
    • Tamanhos dos dados
version: 2

models:
  - name: taxi_rides_raw
    description: Yellow Taxi raw data
    access: public
  - name: avg_fare_per_day
    description: Average ride per day
    access: public
Introdução ao dbt

Gerando documentação no dbt

  • dbt docs
    • dbt docs -h
    • dbt docs generate
  • Cria o site de documentação do projeto
  • Deve rodar após dbt run
Introdução ao dbt

Acessando a documentação

  • Navegador
  • dbt docs serve
    • Use só localmente / em desenvolvimento
  • Copiar o conteúdo para outro host
    • dbt Cloud
    • Amazon S3
    • Nginx / Apache / etc.

visualização da documentação do dbt

Introdução ao dbt

Exemplo de documentação

  • Visualizar
    • Models
    • Descrições
    • Detalhes das colunas
    • Grafos de linhagem

visualização da documentação do dbt

Introdução ao dbt

Vamos praticar!

Introdução ao dbt

Preparing Video For Download...