Vytváření a generování dbt dokumentace

Úvod do dbt

Mike Metzger

Data Engineer

Proč dokumentovat?

  • Sdílení datových detailů s dalšími uživateli

 

  • Centralizace zdrojů dokumentace

 

  • Poskytování informací o aktualizacích / změnách / atd.

 

  • Tvorba příkladů, doporučení k použití, detaily SLA

Dokumenty

Úvod do dbt

Vytváření dokumentace v dbt

  • Dokumentace prostřednictvím definic modelů
  • Dokumentace sloupců v modelech
  • Automatické zobrazení datového lineage / DAG
  • Dokumentace testů a validací
  • Zobrazení informací z datového skladu
    • Datové typy sloupců
    • Velikosti dat
version: 2

models:
  - name: taxi_rides_raw
    description: Yellow Taxi raw data
    access: public
  - name: avg_fare_per_day
    description: Average ride per day
    access: public
Úvod do dbt

Generování dokumentace v dbt

  • dbt docs
    • dbt docs -h
    • dbt docs generate
  • Vytvoří web s dokumentací na základě projektu
  • Spouštět po dbt run
Úvod do dbt

Přístup k dokumentaci

  • Webový prohlížeč
  • dbt docs serve
    • Pouze pro lokální / vývojové použití
  • Kopírování obsahu na jinou hostingovou službu
    • dbt cloud
    • Amazon S3
    • Nginx / Apache / atd.

Zobrazení dbt dokumentace

Úvod do dbt

Příklad dokumentace

  • Zobrazení
    • Modely
    • Popisné informace
    • Podrobnosti o sloupcích
    • Grafy lineage

Zobrazení dbt dokumentace

Úvod do dbt

Pojďme procvičovat!

Úvod do dbt

Preparing Video For Download...