Creación y generación de documentación en dbt

Introducción al dbt

Mike Metzger

Data Engineer

¿Por qué documentar?

  • Compartir detalles de datos con otras personas

 

  • Centralizar las fuentes de documentación

 

  • Dar detalles de actualizaciones/cambios/etc.

 

  • Crear ejemplos, sugerencias de uso y SLAs

Documentos

Introducción al dbt

Crear documentación en dbt

  • Puedes añadir documentación con las definiciones de modelos
  • Puedes documentar las columnas dentro de los modelos
  • Mostrar automáticamente el linaje de datos / DAG
  • Documentar tests/validaciones
  • Ver info generada del warehouse
    • Tipos de datos de columnas
    • Tamaños de datos
version: 2

models:
  - name: taxi_rides_raw
    description: Yellow Taxi raw data
    access: public
  - name: avg_fare_per_day
    description: Average ride per day
    access: public
Introducción al dbt

Generar documentación en dbt

  • dbt docs
    • dbt docs -h
    • dbt docs generate
  • Crea el sitio de documentación del proyecto
  • Ejecútalo después de dbt run
Introducción al dbt

Acceder a la documentación

  • Navegador web
  • dbt docs serve
    • Solo usar localmente/en desarrollo
  • Copiar el contenido a otro hosting
    • dbt Cloud
    • Amazon S3
    • Nginx/Apache/etc.

vista de documentación de dbt

Introducción al dbt

Ejemplo de documentación

  • Vista
    • Modelos
    • Descripciones
    • Detalles de columnas
    • Gráficos de linaje

vista de documentación de dbt

Introducción al dbt

¡Vamos a practicar!

Introducción al dbt

Preparing Video For Download...