Skapa och generera dbt-dokumentation

Introduktion till dbt

Mike Metzger

Data Engineer

Varför dokumentera?

  • Dela datadetaljer med andra användare

 

  • Centralisera dokumentationskällor

 

  • Dokumentera uppdateringar, ändringar m.m.

 

  • Skapa exempel, användningsförslag och SLA-detaljer

Dokument

Introduktion till dbt

Skapa dokumentation i dbt

  • Kan lägga till dokumentation med modelldefinitioner
  • Kan dokumentera kolumner inom modeller
  • Visar automatiskt datalinje / DAG
  • Dokumentera tester och valideringar
  • Visa genererad lagerinformation
    • Kolumndatatyper
    • Datastorlekar
version: 2

models:
  - name: taxi_rides_raw
    description: Yellow Taxi raw data
    access: public
  - name: avg_fare_per_day
    description: Average ride per day
    access: public
Introduktion till dbt

Generera dokumentation i dbt

  • dbt docs
    • dbt docs -h
    • dbt docs generate
  • Skapar dokumentationswebbplatsen baserat på projektet
  • Bör köras efter dbt run
Introduktion till dbt

Åtkomst till dokumentation

  • Webbläsare
  • dbt docs serve
    • Bör endast användas lokalt / för utveckling
  • Kopiera innehåll till annan värdtjänst
    • dbt cloud
    • Amazon S3
    • Nginx / Apache / etc

dbt-dokumentationsvy

Introduktion till dbt

Dokumentationsexempel

  • Visa
    • Modeller
    • Beskrivningsinformation
    • Kolumndetaljer
    • Linjegrafer

dbt-dokumentationsvy

Introduktion till dbt

Nu kör vi en övning!

Introduktion till dbt

Preparing Video For Download...