Создание и генерация документации dbt

Введение в dbt

Mike Metzger

Data Engineer

Зачем документировать?

  • Передача сведений о данных другим пользователям

 

  • Централизация источников документации

 

  • Описание обновлений, изменений и т. д.

 

  • Создание примеров, рекомендаций по использованию, параметров SLA

Документы

Введение в dbt

Создание документации в dbt

  • Документация с описанием моделей
  • Описание столбцов внутри моделей
  • Автоматическое отображение происхождения данных / DAG
  • Документирование тестов и проверок
  • Просмотр сведений о хранилище
    • Типы данных столбцов
    • Размеры данных
version: 2

models:
  - name: taxi_rides_raw
    description: Yellow Taxi raw data
    access: public
  - name: avg_fare_per_day
    description: Average ride per day
    access: public
Введение в dbt

Генерация документации в dbt

  • dbt docs
    • dbt docs -h
    • dbt docs generate
  • Создаёт сайт документации на основе проекта
  • Следует запускать после dbt run
Введение в dbt

Доступ к документации

  • Веб-браузер
  • dbt docs serve
    • Только для локального использования / разработки
  • Копирование на другой хостинг
    • dbt cloud
    • Amazon S3
    • Nginx / Apache / и т. д.

Просмотр документации dbt

Введение в dbt

Пример документации

  • Просмотр
    • Модели
    • Описания
    • Сведения о столбцах
    • Графы происхождения данных

Просмотр документации dbt

Введение в dbt

Давайте потренируемся!

Введение в dbt

Preparing Video For Download...