Die Medaillon-Architektur

Einführung in das Databricks Lakehouse

Gang Wang

Senior Data Scientist

Von roh zu bereit

$$

  • Rohdaten landen im Lakehouse – und jetzt?
  • Unsaubere, nicht validierte Daten brauchen einen Weg zu sauberen Insights
  • Die Medaillon-Architektur löst das
Einführung in das Databricks Lakehouse

Das Datenqualitätsproblem

$$

recraft: half: Ein verwirrter Data Engineer schaut auf chaotische, verhedderte Datenströme, die in einen modernen Laptop-Bildschirm fließen

$$

  • Rohdaten aus Dutzenden Quellen
  • Fehlende Felder, Duplikate, unpassende Typen
  • Analyst:innen brauchen vertrauenswürdige Daten
Einführung in das Databricks Lakehouse

Drei Schichten, ein Ziel

$$

nanobanana: full: Professioneller Küchen-Workflow in drei Stufen von links nach rechts: rohe Zutaten in einer Kiste mit Bronze beschriftet, eine Vorbereitungsstation mit geschnittenem Gemüse mit Silver beschriftet, ein schön angerichtetes Gericht mit Gold beschriftet, klare moderne Illustration

Einführung in das Databricks Lakehouse

Die Bronze-Schicht

$$

  • Erfasst Daten bei Ankunft
  • Uneinheitliche Formate und nullable Felder
  • Append-only – nichts wird gelöscht oder geändert
  • Dein Sicherheitsnetz – immer rückverfolgbar
{"pickup": "2024-03-15T08:23",
 "dropoff": "2024-03-15 8:41",
 "fare": null,
 "zone": "236",
 "distance": "4.2mi"}

{"pickup": "03/15/2024 09:10",
 "dropoff": "2024-03-15T09:32",
 "fare": 18.50,
 "zone": "unknown",
 "distance": 6.1}
Einführung in das Databricks Lakehouse

Die Silver-Schicht

$$

SELECT * FROM silver_taxi_trips
LIMIT 3;

pickup_ts   | dropoff_ts  | fare  | zone_id | dist_km
2024-03-15 | 2024-03-15 | 14.20 | 236     | 6.8
2024-03-15… | 2024-03-15 | 18.50 | 142     | 9.8
2024-03-15 | 2024-03-15 | 22.00 | 79      | 12.1

$$

  • Zeitstempel → korrekte Datetime-Typen
  • Nulls entfernt, Duplikate beseitigt
  • Schema erzwingt konsistente Typen
Einführung in das Databricks Lakehouse

Die Gold-Schicht

$$

  • Geschäftsnahe Aggregationen
  • Treibt Dashboards und Management-Reports
  • Für schnelle Nutzung optimiert

$$

SELECT * FROM gold_taxi_daily
LIMIT 3;

date       | zone_name      | avg_fare | trips
2024-03-15 | Upper East     | 16.80    | 1,247
2024-03-15 | Midtown        | 22.45    | 3,891
2024-03-15 | Financial Dist | 19.10    | 2,156
Einführung in das Databricks Lakehouse

Wer nutzt typischerweise welche Schicht?

nanobanana: full: Drei horizontale, vertikal gestapelte Schichten: Gold oben mit Analyst-Icon, Silver in der Mitte mit Data-Scientist-Icon, Bronze unten mit Data-Engineer-Icon, jeweils mit Rollenname beschriftet, sauberes Infografik-Design

  • Das sind gängige Muster, keine strikten Regeln – jede Rolle kann jede Schicht nutzen
Einführung in das Databricks Lakehouse

Zusammenfassung

$$

  • Bronze – erfasst alles roh, dein Sicherheitsnetz
  • Silver – bereinigt und validiert, verlässliche Basis
  • Gold – aggregiert fürs Business, serviert Insights
  • Jede Schicht → andere Nutzer:innen, andere Standards

$$

nanobanana: half: Dreistufiges Siegerpodest mit Bronze-, Silver- und Goldmedaillen als Datenqualitätsschichten, klarer moderner Stil

Einführung in das Databricks Lakehouse

Lass uns üben!

Einführung in das Databricks Lakehouse

Preparing Video For Download...