Créer et générer la documentation dbt

Introduction à dbt

Mike Metzger

Data Engineer

Pourquoi documenter ?

  • Partager les détails des données avec d'autres utilisateurs

 

  • Centraliser les sources de documentation

 

  • Fournir des détails sur les mises à jour et changements

 

  • Créer des exemples, des conseils d'utilisation et des détails de SLA

Documents

Introduction à dbt

Créer la documentation dans dbt

  • Ajouter de la documentation avec les définitions de modèles
  • Ajouter de la documentation sur les colonnes dans les modèles
  • Afficher automatiquement la lignée des données / DAG
  • Documenter tout test / toute validation
  • Consulter les informations générées de l'entrepôt
    • Types de données des colonnes
    • Tailles des données
version: 2

models:
  - name: taxi_rides_raw
    description: Yellow Taxi raw data
    access: public
  - name: avg_fare_per_day
    description: Average ride per day
    access: public
Introduction à dbt

Générer la documentation dans dbt

  • dbt docs
    • dbt docs -h
    • dbt docs generate
  • Crée le site de documentation selon le projet
  • À exécuter après dbt run
Introduction à dbt

Accéder à la documentation

  • Navigateur Web
  • dbt docs serve
    • À utiliser seulement en local / pour le développement
  • Copier le contenu vers un autre service d'hébergement
    • dbt Cloud
    • Amazon S3
    • Nginx / Apache / etc.

Vue de la documentation dbt

Introduction à dbt

Exemple de documentation

  • Consulter
    • Modèles
    • Descriptions
    • Détails des colonnes
    • Graphes de lignée

Vue de la documentation dbt

Introduction à dbt

Passons à la pratique !

Introduction à dbt

Preparing Video For Download...