Padrões comuns de engenharia de dados

Introduction to Databricks SQL

Kevin Barlow

Data Manager

Motivação

Diagrama Lakehouse - Transformação

Tratando dados de entrada

Append incremental

Adiciona novos dados ao fim da tabela

INSERT INTO students 
TABLE visiting_students;

Diagrama de Append Incremental

Change Data Capture (CDC)

Integra dados na tabela existente

MERGE INTO target USING source
ON target.key = source.key
WHEN MATCHED THEN UPDATE SET *;

Diagrama de CDC

Otimizações de dados

OPTIMIZE

Compacta um subconjunto de dados
Reduz o "problema de arquivos pequenos"

Z-ORDER

Similar a indexação em bancos de dados
Co-localiza dados relacionados nos mesmos arquivos
Pode reduzir o tempo de leitura

> OPTIMIZE table_name;

> OPTIMIZE table_name 
    WHERE date >= '2024-01-01';

> OPTIMIZE table_name
    WHERE date >= current_timestamp() 
        - INTERVAL 1 day
    ZORDER BY (eventType);

Vamos praticar!

Introduction to Databricks SQL