Erstellen und Generieren von dbt-Dokumentation

Einführung in dbt

Mike Metzger

Data Engineer

Warum dokumentieren?

  • Daten mit anderen Nutzern teilen
  • Dokumentationsquellen zentralisieren
  • Details zu Updates / Änderungen etc. bereitstellen
  • Beispiele, Nutzungsvorschläge, SLA-Details

Dokumente

Einführung in dbt

Dokumentation in dbt erstellen

  • Doku mit Modelldefinitionen bereitstellen
  • Spalten in Modellen dokumentieren
  • Datenherkunft / DAG automatisch anzeigen
  • Tests/Validierungen dokumentieren
  • Generierte Warehouse-Infos anzeigen
    • Spaltendatentypen
    • Datengrößen
version: 2

models:
  - name: taxi_rides_raw
    description: Yellow Taxi raw data
    access: public
  - name: avg_fare_per_day
    description: Average ride per day
    access: public
Einführung in dbt

Dokumentation in dbt generieren

  • dbt docs
    • dbt docs -h
    • dbt docs generate
  • Erstellt die Dokumentationswebsite basierend auf dem Projekt
  • Sollte nach dbt run ausgeführt werden
Einführung in dbt

Auf Dokumentation zugreifen

  • Webbrowser
  • dbt docs serve
    • Sollte nur lokal / für die Entwicklung verwendet werden
  • Inhalte auf anderen Hosting-Dienst kopieren
    • dbt cloud
    • Amazon S3
    • Nginx / Apache / etc

dbt-Dokumentationsansicht

Einführung in dbt

Beispiel einer Dokumentation

  • Sicht / View
    • Modelle
    • Beschreibungen
    • Spaltendetails
    • Datenherkunftsraphen

dbt-Dokumentationsansicht

Einführung in dbt

Probier es aus!

Einführung in dbt

Preparing Video For Download...