Czym jest model dbt?
Wprowadzenie do dbt
Mike Metzger
Data Engineer
Czym jest model danych?
- Koncepcyjny, różne definicje zależnie od kontekstu
- Reprezentuje logiczne znaczenie danych
- Opisuje dane i relacje między ich składnikami
- Ułatwia współpracę użytkownikom
Czym jest model danych?
- Koncepcyjny, różne definicje zależnie od kontekstu
- Reprezentuje logiczne znaczenie danych
- Opisuje dane i relacje między ich składnikami
- Ułatwia współpracę użytkownikom
| Gatunek | Liczba nóg | Jadowity |
|---|---|---|
| Gepard | 4 | Nie |
| Kaczka | 2 | Nie |
| Dziobak | 4 | Tak |
| Grzechotnik | 0 | Tak |
Czym jest model w dbt?
- Reprezentuje różne transformacje
- Zazwyczaj pisany w SQL
- Nowsze wersje obsługują Pythona
- Zwykle zapytanie
SELECT - Każdy model to plik tekstowy z rozszerzeniem .sql
Prosty model dbt
- Utwórz katalog w katalogu
models - Utwórz plik
.sqlw powyższym katalogu - Dodaj instrukcję SQL do nowo utworzonego pliku
- Uruchom
dbt run, aby zmaterializować model
bash> mkdir models/order
bash> touch models/order/customer_orders.sql
select first_name,
last_name,
shipping_address,
item_quantity
from source_table
bash> dbt run
Odczyt z Parquet
- Parquet?
- Kolumnowy binarny format pliku
- DuckDB może bezpośrednio odczytywać pliki Parquet
- read_parquet
SELECT * FROM read_parquet('filename.parquet')
- Lub po prostu nazwa pliku w pojedynczych cudzysłowach
SELECT * FROM 'filename.parquet'
Czas na ćwiczenia!
Wprowadzenie do dbt
