Створення та генерація документації dbt

Вступ до dbt

Mike Metzger

Data Engineer

Навіщо документувати?

  • Обмін деталями даних з іншими споживачами

 

  • Централізація джерел документації

 

  • Надання деталей щодо оновлень, змін тощо

 

  • Приклади, рекомендації з використання, умови SLA

Документи

Вступ до dbt

Створення документації в dbt

  • Можна додати документацію до визначень моделей
  • Можна документувати стовпці в моделях
  • Автоматично показує походження даних / DAG
  • Документуйте будь-які тести / перевірки
  • Переглядайте згенеровану інформацію про сховище
    • Типи даних стовпців
    • Розміри даних
version: 2

models:
  - name: taxi_rides_raw
    description: Yellow Taxi raw data
    access: public
  - name: avg_fare_per_day
    description: Average ride per day
    access: public
Вступ до dbt

Генерація документації в dbt

  • dbt docs
    • dbt docs -h
    • dbt docs generate
  • Створює сайт документації на основі проєкту
  • Слід запускати після dbt run
Вступ до dbt

Доступ до документації

  • Веббраузер
  • dbt docs serve
    • Використовуйте лише локально / для розробки
  • Скопіюйте вміст на інший хостинг
    • dbt Cloud
    • Amazon S3
    • Nginx / Apache / тощо

Перегляд документації dbt

Вступ до dbt

Приклад документації

  • Перегляд
    • Моделей
    • Описів
    • Деталей стовпців
    • Графів походження

Перегляд документації dbt

Вступ до dbt

Давайте потренуємось!

Вступ до dbt

Preparing Video For Download...