dbt model là gì?
Giới thiệu về dbt
Mike Metzger
Data Engineer
Data model là gì?
- Mang tính khái niệm, định nghĩa khác nhau theo ngữ cảnh
- Biểu diễn ý nghĩa logic của dữ liệu
- Cách dữ liệu và các thành phần liên hệ
- Hỗ trợ người dùng cộng tác
Data model là gì?
- Mang tính khái niệm, định nghĩa khác nhau theo ngữ cảnh
- Biểu diễn ý nghĩa logic của dữ liệu
- Cách dữ liệu và các thành phần liên hệ
- Hỗ trợ người dùng cộng tác
| Loài | # chân | Có độc |
|---|---|---|
| Báo gêpa | 4 | Không |
| Vịt | 2 | Không |
| Thú mỏ vịt | 4 | Có |
| Rắn đuôi chuông | 0 | Có |
Model trong dbt là gì?
- Biểu diễn các phép biến đổi
- Thường viết bằng SQL
- Bản mới có thể dùng Python
- Thường là câu truy vấn
SELECT - Mỗi model là một tệp văn bản đuôi .sql
Model dbt đơn giản
- Tạo thư mục trong thư mục
models - Tạo tệp
.sqltrong thư mục trên - Thêm câu lệnh SQL vào tệp mới tạo
- Chạy
dbt runđể vật thể hóa model
bash> mkdir models/order
bash> touch models/order/customer_orders.sql
select first_name,
last_name,
shipping_address,
item_quantity
from source_table
bash> dbt run
Đọc từ Parquet
- Parquet?
- Định dạng tệp nhị phân dạng cột
- DuckDB đọc trực tiếp tệp Parquet
- read_parquet
SELECT * FROM read_parquet('filename.parquet')
- Hoặc chỉ cần tên tệp trong dấu nháy đơn
SELECT * FROM 'filename.parquet'
Ayo berlatih!
Giới thiệu về dbt
