Creare e generare la documentazione dbt

Introduzione a dbt

Mike Metzger

Data Engineer

Perché documentare?

  • Condividere dettagli sui dati con altri utenti

 

  • Centralizzare le fonti di documentazione

 

  • Fornire dettagli su aggiornamenti/cambiamenti/etc.

 

  • Creare esempi, suggerimenti d'uso, dettagli SLA

Documenti

Introduzione a dbt

Creare documentazione in dbt

  • Puoi fornire documentazione con le definizioni dei modelli
  • Puoi aggiungere documentazione sulle colonne nei modelli
  • Mostra automaticamente il lineage/DAG
  • Documenta test/validazioni
  • Visualizza info generate dal warehouse
    • Tipi di dato delle colonne
    • Dimensioni dei dati
version: 2

models:
  - name: taxi_rides_raw
    description: Yellow Taxi raw data
    access: public
  - name: avg_fare_per_day
    description: Average ride per day
    access: public
Introduzione a dbt

Generare la documentazione in dbt

  • dbt docs
    • dbt docs -h
    • dbt docs generate
  • Crea il sito di documentazione in base al progetto
  • Da eseguire dopo dbt run
Introduzione a dbt

Accedere alla documentazione

  • Browser web
  • dbt docs serve
    • Usare solo in locale/sviluppo
  • Copia i contenuti su un altro hosting
    • dbt Cloud
    • Amazon S3
    • Nginx/Apache/etc.

vista documentazione dbt

Introduzione a dbt

Esempio di documentazione

  • Vista
    • Modelli
    • Descrizioni
    • Dettagli colonne
    • Grafi di lineage

vista documentazione dbt

Introduzione a dbt

Passiamo alla pratica!

Introduzione a dbt

Preparing Video For Download...