Что такое модель dbt?
Введение в dbt
Mike Metzger
Data Engineer
Что такое модель данных?
- Концептуальное понятие с разными определениями в зависимости от контекста
- Отражает логический смысл данных
- Описывает данные и связи между их компонентами
- Помогает пользователям совместно работать
Что такое модель данных?
- Концептуальное понятие с разными определениями в зависимости от контекста
- Отражает логический смысл данных
- Описывает данные и связи между их компонентами
- Помогает пользователям совместно работать
| Вид | Количество лап | Ядовитый |
|---|---|---|
| Гепард | 4 | Нет |
| Утка | 2 | Нет |
| Утконос | 4 | Да |
| Гремучая змея | 0 | Да |
Что такое модель в dbt?
- Описывает различные преобразования
- Обычно пишется на SQL
- В новых версиях можно использовать Python
- Как правило, представляет собой запрос
SELECT - Каждая модель — текстовый файл с расширением .sql
Простая модель dbt
- Создайте каталог внутри директории
models - Создайте файл
.sqlв этом каталоге - Добавьте SQL-запрос в новый файл
- Выполните
dbt run, чтобы материализовать модель
bash> mkdir models/order
bash> touch models/order/customer_orders.sql
select first_name,
last_name,
shipping_address,
item_quantity
from source_table
bash> dbt run
Чтение из Parquet
- Parquet?
- Колоночный бинарный формат файлов
- DuckDB умеет читать файлы Parquet напрямую
- read_parquet
SELECT * FROM read_parquet('filename.parquet')
- Или просто имя файла в одинарных кавычках
SELECT * FROM 'filename.parquet'
Давайте потренируемся!
Введение в dbt
