Ce este un model dbt?

Introducere în dbt

Mike Metzger

Data Engineer

Ce este un model de date?

Conceptual, cu definiții variate în funcție de context
Reprezintă semnificația logică a datelor
Modul în care datele și componentele lor se relaționează
Facilitează colaborarea între utilizatori

Ce este un model de date?

Conceptual, cu definiții variate în funcție de context
Reprezintă semnificația logică a datelor
Modul în care datele și componentele lor se relaționează
Facilitează colaborarea între utilizatori

Specie	# de picioare	Veninos
Ghepard	4	Nu
Rață	2	Nu
Ornitorinc	4	Da
Șarpe cu clopoței	0	Da

Ce este un model în dbt?

Reprezintă diversele transformări
De obicei scris în SQL
- Versiunile noi pot utiliza Python
De regulă, o interogare SELECT
Fiecare model este reprezentat de un fișier text cu extensia .sql

Model dbt simplu

Creați un director în directorul models
Creați un fișier .sql în directorul de mai sus
Adăugați instrucțiunea SQL în fișierul nou creat
Rulați dbt run pentru a materializa modelul

bash> mkdir models/order
bash> touch models/order/customer_orders.sql

select first_name, 
       last_name,
       shipping_address,
       item_quantity
from source_table

bash> dbt run

Citire din Parquet

Parquet?
- Format de fișier binar columnar
- DuckDB poate citi fișiere Parquet direct
- read_parquet
  - SELECT * FROM read_parquet('filename.parquet')
- Sau pur și simplu numele fișierului între ghilimele simple
  - SELECT * FROM 'filename.parquet'

Să exersăm!

Introducere în dbt

Preparing Video For Download...