Работа с первым проектом

Введение в dbt

Mike Metzger

Data Engineer

Рабочий процесс в dbt

Создать проект (dbt init)
Задать конфигурацию (profiles.yml)
Создать / использовать модели / шаблоны
Применить модели (dbt run)
Проверить / Протестировать / Устранить ошибки
Повторить при необходимости

dbt run

Запускается при изменении моделей
Или когда процесс обработки данных нужно материализовать
Вывод содержит подробную информацию об успехе или сбое каждого шага
Материализация = преобразования в таблицы / представления

repl:~$ dbt run

04:52:11  Running with dbt=1.8.4
...
04:52:13  1 of 1 START sql view model main.sales_data ....... [RUN]
04:52:13  1 of 1 OK created sql view model main.sales_data . [OK in 0.12s]  
...
04:52:13  Completed successfully

Таблица и представление

Таблицы:

Объекты базы данных / хранилища, содержащие данные
Занимают место в базе данных
Содержимое обновляется только при изменении

Могут быть созданы средствами dbt ✅

Представления:

Доступны для запросов как таблица, но не хранят данных
Как правило, определяются как SELECT-запрос к одной или нескольким таблицам
Содержимое формируется при каждом запросе

Могут быть созданы средствами dbt ✅

Давайте потренируемся!

Введение в dbt