L'architecture médaillon

Introduction à Databricks Lakehouse

Gang Wang

Senior Data Scientist

Des brutes au prêt à l'emploi

Des données brutes arrivent dans le lakehouse — et maintenant ?
Enregistrements brouillons, non validés : il faut un chemin vers des insights propres
L'architecture médaillon résout cela

Le problème de qualité des données

recraft: half: Un·e data engineer perplexe face à des flux de données emmêlés entrant dans l'écran d'un ordinateur portable moderne

Données brutes de douzaines de sources
Champs manquants, doublons, types non concordants
Les analystes ont besoin de données fiables

Trois couches, un même objectif

nanobanana: full: Flux en cuisine pro en trois étapes de gauche à droite : ingrédients bruts dans une caisse « Bronze », poste de préparation avec légumes émincés « Argent », plat dressé « Or », illustration moderne et épurée

La couche bronze

Capture les données à l'arrivée
Formats incohérents et champs nullables
Append-only : rien n'est supprimé ni modifié
Votre filet de sécurité : toujours retraçable

{"pickup": "2024-03-15T08:23",
 "dropoff": "2024-03-15 8:41",
 "fare": null,
 "zone": "236",
 "distance": "4.2mi"}

{"pickup": "03/15/2024 09:10",
 "dropoff": "2024-03-15T09:32",
 "fare": 18.50,
 "zone": "unknown",
 "distance": 6.1}

La couche argent

SELECT * FROM silver_taxi_trips
LIMIT 3;

pickup_ts   | dropoff_ts  | fare  | zone_id | dist_km
2024-03-15 | 2024-03-15 | 14.20 | 236     | 6.8
2024-03-15… | 2024-03-15 | 18.50 | 142     | 9.8
2024-03-15 | 2024-03-15 | 22.00 | 79      | 12.1

Horodatages → types datetime corrects
Nulls supprimés, doublons éliminés
Schéma appliqué : types cohérents

La couche or

Agrégations au niveau métier
Alimente tableaux de bord et rapports de direction
Optimisée pour une consommation rapide

SELECT * FROM gold_taxi_daily
LIMIT 3;

date       | zone_name      | avg_fare | trips
2024-03-15 | Upper East     | 16.80    | 1,247
2024-03-15 | Midtown        | 22.45    | 3,891
2024-03-15 | Financial Dist | 19.10    | 2,156

Qui utilise quelle couche, en général ?

nanobanana: full: Trois couches horizontales empilées : couche Or en haut avec une icône d'analyste, couche Argent au milieu avec une icône de data scientist, couche Bronze en bas avec une icône de data engineer, chacune étiquetée avec le rôle, infographie épurée

Ce sont des schémas usuels, pas des règles strictes : tout rôle peut accéder à toute couche

Récapitulatif

Bronze : capte tout le brut, filet de sécurité
Argent : nettoie et valide, base fiable
Or : agrège pour le métier, insights prêts à l'emploi
Chaque couche → publics et standards différents

nanobanana: half: Podium à trois niveaux avec médailles bronze, argent et or représentant les couches de qualité des données, style moderne épuré

Passons à la pratique !