Tworzenie i generowanie dokumentacji dbt

Wprowadzenie do dbt

Mike Metzger

Data Engineer

Dlaczego dokumentować?

  • Udostępnianie szczegółów danych innym użytkownikom

 

  • Centralizacja źródeł dokumentacji

 

  • Informowanie o aktualizacjach / zmianach / itp.

 

  • Tworzenie przykładów, wskazówek użycia, szczegółów SLA

Dokumenty

Wprowadzenie do dbt

Tworzenie dokumentacji w dbt

  • Dokumentacja w definicjach modeli
  • Dokumentacja kolumn w modelach
  • Automatyczne wyświetlanie powiązań danych / DAG
  • Dokumentowanie testów / walidacji
  • Podgląd informacji z hurtowni danych
    • Typy danych kolumn
    • Rozmiary danych
version: 2

models:
  - name: taxi_rides_raw
    description: Yellow Taxi raw data
    access: public
  - name: avg_fare_per_day
    description: Average ride per day
    access: public
Wprowadzenie do dbt

Generowanie dokumentacji w dbt

  • dbt docs
    • dbt docs -h
    • dbt docs generate
  • Tworzy stronę dokumentacji na podstawie projektu
  • Należy uruchomić po dbt run
Wprowadzenie do dbt

Dostęp do dokumentacji

  • Przeglądarka internetowa
  • dbt docs serve
    • Tylko do użytku lokalnego / deweloperskiego
  • Kopiowanie treści do innej usługi hostingowej
    • dbt cloud
    • Amazon S3
    • Nginx / Apache / itp.

Widok dokumentacji dbt

Wprowadzenie do dbt

Przykład dokumentacji

  • Widok
    • Modele
    • Informacje opisowe
    • Szczegóły kolumn
    • Grafy powiązań

Widok dokumentacji dbt

Wprowadzenie do dbt

Czas na ćwiczenia!

Wprowadzenie do dbt

Preparing Video For Download...