Modèles courants d’ingénierie des données

Introduction à Databricks SQL

Kevin Barlow

Data Manager

Motivation

Schéma Lakehouse - Transformation

Gérer les données entrantes

Ajout incrémental

Ajouter toutes les nouvelles données à la fin de la table existante
```
INSERT INTO students 
TABLE visiting_students;
```

Schéma d’ajout incrémental

Capture des données modifiées (CDC)

Intègre les données dans la table existante

MERGE INTO target USING source
ON target.key = source.key
WHEN MATCHED THEN UPDATE SET *;

Schéma CDC

Optimisation des données

OPTIMIZE

Compacter un sous-ensemble de données
Réduit le « problème des petits fichiers »

Z-ORDER

Similaire à l’indexation des bases de données
Regroupe les données liées dans les mêmes fichiers
Peut réduire le temps de lecture

> OPTIMIZE table_name;

> OPTIMIZE table_name 
    WHERE date >= '2024-01-01';

> OPTIMIZE table_name
    WHERE date >= current_timestamp() 
        - INTERVAL 1 day
    ZORDER BY (eventType);

Passons à la pratique !

Introduction à Databricks SQL