Patrones comunes de ingeniería de datos

Introducción a Databricks SQL

Kevin Barlow

Data Manager

Motivación

Diagrama Lakehouse - Transformación

Gestión de datos entrantes

Anexado incremental

Añade todos los datos nuevos al final de la tabla existente
```
INSERT INTO students 
TABLE visiting_students;
```

Diagrama de anexado incremental

Change Data Capture (CDC)

Integra datos en la tabla existente

MERGE INTO target USING source
ON target.key = source.key
WHEN MATCHED THEN UPDATE SET *;

Diagrama de CDC

Optimizaciones de datos

OPTIMIZE

Compacta un subconjunto de datos
Reduce el "problema de archivos pequeños"

Z-ORDER

Similar a indexar en bases de datos
Coloca datos relacionados en los mismos archivos
Puede reducir el tiempo de lectura

> OPTIMIZE table_name;

> OPTIMIZE table_name 
    WHERE date >= '2024-01-01';

> OPTIMIZE table_name
    WHERE date >= current_timestamp() 
        - INTERVAL 1 day
    ZORDER BY (eventType);

¡Vamos a practicar!

Introducción a Databricks SQL