Автоматизація з dbt build

Середній рівень dbt

Mike Metzger

Data Engineer

Підсумок

  • sources і seeds подають початкові дані в dbt
  • models трансформують дані (зазвичай із sources / seeds) для подальших користувачів
  • tests можуть перевіряти sources, seeds, models
    • Вбудовані (unique, not_null, relation, accepted_values)
    • Окремі
    • Загальні / багаторазові
  • dbt build виконує все це, зазвичай у продакшні
Середній рівень dbt

dbt build

dbt build:

  • Комбінація кількох завдань
  • Запускає моделі (dbt run)
  • Виконує перевірки тестами (dbt test)
  • Обробляє seeds (dbt seed)
  • Доступні інші опції (dbt snapshot)
  • НЕ виконує операції dbt docs

Команди можна запускати окремо

Побудова

1 Photo by Randy Fath on Unsplash
Середній рівень dbt

dbt build — навіщо?

  • Окремі підкоманди працюють добре, але не закривають усі можливі випадки
    • dbt run не перевіряє спочатку (тобто тести не запускаються)
    • dbt seed може бути неповним для деяких запитів
  • dbt build визначає залежності й запускає всі тести до змін у продакшні
  • dbt build може бути зайвим, якщо лише тестуєте або вносите малі інкрементальні зміни
  • За потреби кроки можна виконати вручну
Середній рівень dbt

Параметри dbt build

  • dbt build --select <object>
  • dbt build -d
  • dbt build --exclude <object>
Середній рівень dbt

Давайте потренуємось!

Середній рівень dbt

Preparing Video For Download...