Crearea și generarea documentației dbt

Introducere în dbt

Mike Metzger

Data Engineer

De ce documentăm?

  • Partajarea detaliilor cu alți utilizatori

 

  • Centralizarea surselor de documentație

 

  • Furnizarea de detalii despre actualizări / modificări etc.

 

  • Crearea de exemple, sugestii de utilizare, detalii SLA

Documente

Introducere în dbt

Crearea documentației în dbt

  • Documentație inclusă în definițiile modelelor
  • Adăugare documentație pentru coloane în modele
  • Afișare automată a liniei de date / DAG
  • Documentarea testelor / validărilor
  • Vizualizarea informațiilor generate din depozit
    • Tipuri de date ale coloanelor
    • Dimensiuni de date
version: 2

models:
  - name: taxi_rides_raw
    description: Yellow Taxi raw data
    access: public
  - name: avg_fare_per_day
    description: Average ride per day
    access: public
Introducere în dbt

Generarea documentației în dbt

  • dbt docs
    • dbt docs -h
    • dbt docs generate
  • Creează site-ul de documentație pe baza proiectului
  • Trebuie rulat după dbt run
Introducere în dbt

Accesarea documentației

  • Browser web
  • dbt docs serve
    • Utilizare doar local / pentru dezvoltare
  • Copiere conținut pe alt serviciu de hosting
    • dbt cloud
    • Amazon S3
    • Nginx / Apache / etc.

Vizualizare documentație dbt

Introducere în dbt

Exemplu de documentație

  • Vizualizare
    • Modele
    • Informații despre descriere
    • Detalii despre coloane
    • Grafice de dependență

Vizualizare documentație dbt

Introducere în dbt

Să exersăm!

Introducere în dbt

Preparing Video For Download...