O que é um modelo dbt?
Introdução ao dbt
Mike Metzger
Data Engineer
O que é um modelo de dados?
- Conceitual, com definições que variam por contexto
- Representa o significado lógico dos dados
- Mostra como os dados e seus componentes se relacionam
- Ajuda usuários a colaborar
O que é um modelo de dados?
- Conceitual, com definições que variam por contexto
- Representa o significado lógico dos dados
- Mostra como os dados e seus componentes se relacionam
- Ajuda usuários a colaborar
| Espécie | # de pernas | Venenoso |
|---|---|---|
| Guepardo | 4 | Não |
| Pato | 2 | Não |
| Ornitorrinco | 4 | Sim |
| Cascavel | 0 | Sim |
O que é um modelo no dbt?
- Representa as várias transformações
- Geralmente escrito em SQL
- Versões mais novas podem usar Python
- Normalmente é uma query
SELECT - Cada modelo é um arquivo de texto com extensão .sql
Modelo dbt simples
- Crie um diretório em
models - Crie um arquivo
.sqlnesse diretório - Adicione a instrução SQL ao novo arquivo
- Rode
dbt runpara materializar o modelo
bash> mkdir models/order
bash> touch models/order/customer_orders.sql
select first_name,
last_name,
shipping_address,
item_quantity
from source_table
bash> dbt run
Lendo de Parquet
- Parquet?
- Formato de arquivo binário colunar
- DuckDB lê Parquet direto
- read_parquet
SELECT * FROM read_parquet('filename.parquet')
- Ou só o nome do arquivo entre aspas simples
SELECT * FROM 'filename.parquet'
Vamos praticar!
Introdução ao dbt
