Що таке модель dbt?
Вступ до dbt
Mike Metzger
Data Engineer
Що таке модель даних?
- Концептуальна; визначення залежить від контексту
- Відображає логічний зміст даних
- Показує зв'язки даних і їхніх компонентів
- Допомагає користувачам співпрацювати
Що таке модель даних?
- Концептуальна; визначення залежить від контексту
- Відображає логічний зміст даних
- Показує зв'язки даних і їхніх компонентів
- Допомагає користувачам співпрацювати
| Вид | К-сть лап | Отруйні |
|---|---|---|
| Гепард | 4 | Ні |
| Качка | 2 | Ні |
| Качкодзьоб | 4 | Так |
| Гримуча змія | 0 | Так |
Що таке модель у dbt?
- Відображає різні перетворення
- Зазвичай пишеться SQL
- Новіші версії можуть використовувати Python
- Здебільшого це запит
SELECT - Кожна модель — текстовий файл із розширенням .sql
Проста модель dbt
- Створіть теку в каталозі
models - Створіть файл
.sqlу цій теці - Додайте SQL-вираз у новий файл
- Запустіть
dbt run, щоб матеріалізувати модель
bash> mkdir models/order
bash> touch models/order/customer_orders.sql
select first_name,
last_name,
shipping_address,
item_quantity
from source_table
bash> dbt run
Читання з Parquet
- Parquet?
- Стовпчиковий бінарний формат файлів
- DuckDB може читати файли Parquet напряму
- read_parquet
SELECT * FROM read_parquet('filename.parquet')
- Або просто ім'я файла в одинарних лапках
SELECT * FROM 'filename.parquet'
Давайте потренуємось!
Вступ до dbt
