La arquitectura medallion

Introducción a Databricks Lakehouse

Gang Wang

Senior Data Scientist

De bruto a listo

Los datos en bruto llegan al lakehouse: ¿y ahora qué?
Registros desordenados y sin validar necesitan un camino a insights limpios
La arquitectura medallion lo resuelve

El problema de la calidad de datos

recraft: half: Un/a data engineer confuso/a mirando flujos de datos enredados y desordenados que entran en la pantalla de un portátil moderno

Datos en bruto de docenas de orígenes
Campos faltantes, duplicados, tipos incompatibles
Las personas analistas necesitan datos fiables

Tres capas, un propósito

nanobanana: full: Flujo de trabajo de cocina profesional en tres etapas de izquierda a derecha: ingredientes crudos en una caja etiquetada Bronze, una estación de preparación con verduras picadas etiquetada Silver, un plato emplatado con esmero etiquetado Gold, ilustración limpia y moderna

La capa bronze

Captura datos tal como llegan
Formatos inconsistentes y campos anulables
Solo anexos: no se borra ni modifica nada
Tu red de seguridad: siempre puedes retroceder

{"pickup": "2024-03-15T08:23",
 "dropoff": "2024-03-15 8:41",
 "fare": null,
 "zone": "236",
 "distance": "4.2mi"}

{"pickup": "03/15/2024 09:10",
 "dropoff": "2024-03-15T09:32",
 "fare": 18.50,
 "zone": "unknown",
 "distance": 6.1}

La capa silver

SELECT * FROM silver_taxi_trips
LIMIT 3;

pickup_ts   | dropoff_ts  | fare  | zone_id | dist_km
2024-03-15 | 2024-03-15 | 14.20 | 236     | 6.8
2024-03-15… | 2024-03-15 | 18.50 | 142     | 9.8
2024-03-15 | 2024-03-15 | 22.00 | 79      | 12.1

Timestamps → tipos datetime correctos
Nulos eliminados, duplicados quitados
Esquema aplicado: tipos coherentes

La capa gold

Agregaciones de negocio
Alimenta paneles e informes ejecutivos
Optimizada para consumo rápido

SELECT * FROM gold_taxi_daily
LIMIT 3;

date       | zone_name      | avg_fare | trips
2024-03-15 | Upper East     | 16.80    | 1,247
2024-03-15 | Midtown        | 22.45    | 3,891
2024-03-15 | Financial Dist | 19.10    | 2,156

¿Quién suele usar cada capa?

nanobanana: full: Tres capas horizontales apiladas verticalmente: capa Gold arriba con icono de analista, capa Silver en medio con icono de data scientist, capa Bronze abajo con icono de data engineer, cada una etiquetada con el rol, infografía limpia

Son patrones comunes, no reglas estrictas: cualquier rol puede acceder a cualquier capa

Resumen

Bronze: captura todo en bruto, tu red de seguridad
Silver: limpia y valida, base fiable
Gold: agrega para negocio, insights listos
Cada capa → distintos usuarios, distintos estándares

nanobanana: half: Podio de premios de tres niveles con medallas de bronce, plata y oro que representan las capas de calidad de datos, estilo moderno y limpio

¡Vamos a practicar!

Introducción a Databricks Lakehouse