A arquitetura medallion

Introdução ao Databricks Lakehouse

Gang Wang

Senior Data Scientist

Do bruto ao pronto

$$

  • Dados brutos chegam no lakehouse — e agora?
  • Registros bagunçados e sem validação precisam virar bons insights
  • A arquitetura medallion resolve isso
Introdução ao Databricks Lakehouse

O problema da qualidade dos dados

$$

recraft: half: Um engenheiro de dados confuso olhando para fluxos de dados bagunçados e emaranhados entrando na tela de um laptop moderno

$$

  • Dados brutos de dezenas de fontes
  • Campos faltando, duplicatas, tipos incompatíveis
  • Analistas precisam de dados confiáveis
Introdução ao Databricks Lakehouse

Três camadas, um propósito

$$

nanobanana: full: Fluxo de trabalho de cozinha profissional em três estágios da esquerda para a direita: ingredientes crus em uma caixa rotulada Bronze, estação de preparo com legumes picados rotulada Silver, prato bem empratado rotulado Gold, ilustração clean e moderna

Introdução ao Databricks Lakehouse

A camada bronze

$$

  • Captura os dados ao chegar
  • Formatos inconsistentes e campos nulos
  • Somente append — nada é apagado ou alterado
  • Sua rede de segurança — sempre dá para rastrear
{"pickup": "2024-03-15T08:23",
 "dropoff": "2024-03-15 8:41",
 "fare": null,
 "zone": "236",
 "distance": "4.2mi"}

{"pickup": "03/15/2024 09:10",
 "dropoff": "2024-03-15T09:32",
 "fare": 18.50,
 "zone": "unknown",
 "distance": 6.1}
Introdução ao Databricks Lakehouse

A camada silver

$$

SELECT * FROM silver_taxi_trips
LIMIT 3;

pickup_ts   | dropoff_ts  | fare  | zone_id | dist_km
2024-03-15 | 2024-03-15 | 14.20 | 236     | 6.8
2024-03-15… | 2024-03-15 | 18.50 | 142     | 9.8
2024-03-15 | 2024-03-15 | 22.00 | 79      | 12.1

$$

  • Timestamps → tipos datetime corretos
  • Nulos removidos, duplicatas eliminadas
  • Esquema aplicado — tipos consistentes
Introdução ao Databricks Lakehouse

A camada gold

$$

  • Agregações em nível de negócio
  • Alimenta dashboards e relatórios executivos
  • Otimizada para consumo rápido

$$

SELECT * FROM gold_taxi_daily
LIMIT 3;

date       | zone_name      | avg_fare | trips
2024-03-15 | Upper East     | 16.80    | 1,247
2024-03-15 | Midtown        | 22.45    | 3,891
2024-03-15 | Financial Dist | 19.10    | 2,156
Introdução ao Databricks Lakehouse

Quem usa qual camada?

nanobanana: full: Três camadas horizontais empilhadas verticalmente: camada Gold no topo com ícone de analista, camada Silver no meio com ícone de cientista de dados, camada Bronze embaixo com ícone de engenheiro de dados, cada uma rotulada com o cargo, infográfico clean

  • São padrões comuns, não regras rígidas — qualquer papel pode acessar qualquer camada
Introdução ao Databricks Lakehouse

Resumo

$$

  • Bronze — captura tudo bruto, sua rede de segurança
  • Silver — limpa e valida, base confiável
  • Gold — agrega para o negócio, insights prontos
  • Cada camada → públicos e padrões diferentes

$$

nanobanana: half: Pódio de três níveis com medalhas de bronze, prata e ouro representando camadas de qualidade de dados, estilo clean e moderno

Introdução ao Databricks Lakehouse

Vamos praticar!

Introdução ao Databricks Lakehouse

Preparing Video For Download...