Créer et générer la documentation dbt

Introduction à dbt

Mike Metzger

Data Engineer

Pourquoi documenter ?

  • Partager les détails des données avec d’autres utilisateurs

 

  • Centraliser les sources de documentation

 

  • Donner des détails sur les mises à jour / changements / etc.

 

  • Créer des exemples, des conseils d’usage, des SLA

Documents

Introduction à dbt

Créer la documentation dans dbt

  • Ajouter de la doc avec les définitions de modèles
  • Documenter les colonnes des modèles
  • Afficher automatiquement le lignage / DAG
  • Documenter tout test / validation
  • Voir les infos générées de l’entrepôt
    • Types de données des colonnes
    • Tailles des données
version: 2

models:
  - name: taxi_rides_raw
    description: Yellow Taxi raw data
    access: public
  - name: avg_fare_per_day
    description: Average ride per day
    access: public
Introduction à dbt

Générer la documentation dans dbt

  • dbt docs
    • dbt docs -h
    • dbt docs generate
  • Crée le site de documentation du projet
  • À exécuter après dbt run
Introduction à dbt

Accéder à la documentation

  • Navigateur web
  • dbt docs serve
    • À utiliser seulement en local / en développement
  • Copier le contenu vers un autre hébergement
    • dbt Cloud
    • Amazon S3
    • Nginx / Apache / etc.

Vue de la documentation dbt

Introduction à dbt

Exemple de documentation

  • Vue
    • Modèles
    • Descriptions
    • Détails des colonnes
    • Graphes de lignage

Vue de la documentation dbt

Introduction à dbt

Passons à la pratique !

Introduction à dbt

Preparing Video For Download...