L'architecture médaille

Introduction à Databricks Lakehouse

Gang Wang

Senior Data Scientist

Des données brutes à prêtes

$$

  • Des données brutes arrivent dans le lakehouse — et après ?
  • Données brouillon, non validées : il faut un parcours vers des insights fiables
  • L'architecture médaille règle ce problème
Introduction à Databricks Lakehouse

Le défi de la qualité des données

$$

recraft: half: Un ou une ingénieur·e de données perplexe face à des flux de données emmêlés entrant dans l'écran d'un portable moderne

$$

  • Données brutes de douzaines de sources
  • Champs manquants, doublons, types non concordants
  • Les analystes ont besoin de données fiables
Introduction à Databricks Lakehouse

Trois couches, un même but

$$

nanobanana: full: Flux de travail d'une cuisine professionnelle en trois étapes de gauche à droite : ingrédients bruts dans une caisse « Bronze », poste de préparation avec légumes coupés « Argent », plat joliment dressé « Or », illustration épurée et moderne

Introduction à Databricks Lakehouse

La couche bronze

$$

  • Capture les données à l'arrivée
  • Formats incohérents et champs annulables
  • Ajout seulement : rien supprimé ni modifié
  • Votre filet de sécurité : traçabilité totale
{"pickup": "2024-03-15T08:23",
 "dropoff": "2024-03-15 8:41",
 "fare": null,
 "zone": "236",
 "distance": "4.2mi"}

{"pickup": "03/15/2024 09:10",
 "dropoff": "2024-03-15T09:32",
 "fare": 18.50,
 "zone": "unknown",
 "distance": 6.1}
Introduction à Databricks Lakehouse

La couche argent

$$

SELECT * FROM silver_taxi_trips
LIMIT 3;

pickup_ts   | dropoff_ts  | fare  | zone_id | dist_km
2024-03-15 | 2024-03-15 | 14.20 | 236     | 6.8
2024-03-15… | 2024-03-15 | 18.50 | 142     | 9.8
2024-03-15 | 2024-03-15 | 22.00 | 79      | 12.1

$$

  • Horodatages → types datetime corrects
  • Valeurs nulles retirées, doublons éliminés
  • Schéma imposé : types cohérents
Introduction à Databricks Lakehouse

La couche or

$$

  • Agrégations métier
  • Alimente des tableaux de bord et des rapports de direction
  • Optimisée pour une consommation rapide

$$

SELECT * FROM gold_taxi_daily
LIMIT 3;

date       | zone_name      | avg_fare | trips
2024-03-15 | Upper East     | 16.80    | 1,247
2024-03-15 | Midtown        | 22.45    | 3,891
2024-03-15 | Financial Dist | 19.10    | 2,156
Introduction à Databricks Lakehouse

Qui utilise généralement quelle couche ?

nanobanana: full: Trois couches horizontales superposées : couche Or en haut avec icône d'analyste, couche Argent au centre avec icône de scientifique des données, couche Bronze en bas avec icône d'ingénieur·e de données, chacune étiquetée, infographie épurée

  • Ce sont des patrons courants, pas des règles strictes : tout rôle peut accéder à toute couche
Introduction à Databricks Lakehouse

Résumé

$$

  • Bronze : tout capturer à l'état brut, filet de sécurité
  • Argent : nettoyer et valider, base fiable
  • Or : agrégations métier, insights prêts à servir
  • Chaque couche → publics et normes différents

$$

nanobanana: half: Podium à trois niveaux avec médailles bronze, argent et or représentant les couches de qualité des données, style moderne et épuré

Introduction à Databricks Lakehouse

Passons à la pratique !

Introduction à Databricks Lakehouse

Preparing Video For Download...