Plattformarchitektur

Einführung in das Databricks Lakehouse

Gang Wang

Senior Data Scientist

Die Hotel-Analogie

$$

Control Plane – „Die Rezeption"

recraft: half: Eine moderne Hotelrezeption mit einem Concierge, der Buchungen auf Bildschirmen verwaltet – steht für Databricks, das Koordination und Planung steuert

  • Wird von Databricks verwaltet
  • Kümmert sich um Koordination und Anfragen

$$

Data Plane – „Dein Hotelzimmer"

recraft: half: Ein sicheres, privates Hotelzimmer mit Tresor und Schreibtisch – steht für das Kunden-Cloud-Konto, in dem Daten liegen und Compute läuft

  • Liegt in deinem Cloud-Konto
  • Hier leben deine Daten und Compute
Einführung in das Databricks Lakehouse

Die Control Plane

$$

  • Wird von Databricks verwaltet
  • Workspace-UI und Notebooks
  • Job-Planung und Orchestrierung
  • Clusterverwaltung und -konfiguration

$$

recraft: half: Eine moderne Rezeption mit geordneten Monitoren, die Dashboards und Zeitpläne zeigen – steht für ein Kontrollzentrum

Einführung in das Databricks Lakehouse

Die Data Plane

$$

recraft: half: Ein sicherer Tresorraum mit Server-Racks und verschlossenen Containern – steht für kunden­eigene Cloud-Infrastruktur

$$

  • Liegt in deinem Cloud-Konto
  • Compute-Cluster laufen hier
  • Daten liegen in deinem Cloud-Speicher
  • Du steuerst Zugriff und Netzwerk
Einführung in das Databricks Lakehouse

Was lebt wo?

nanobanana: full: Geteiltes Diagramm mit zwei Bereichen, verbunden durch Pfeile: links „Control Plane" mit Workspace-UI und Job-Scheduler, rechts „Data Plane" mit Clustern und Cloud-Speicher; Pfeile fließen zwischen beiden

Einführung in das Databricks Lakehouse

Audit-Logs und Systemtabellen

$$

  • Audit-Logs erfassen alle Workspace-Aktivitäten
  • In deinem Cloud-Konto als Systemtabellen gespeichert
  • Mit SQL für Compliance-Berichte abfragen

$$

SELECT user_name, action_name,
       event_time
FROM system.access.audit
WHERE action_name = 'clusterCreate'
ORDER BY event_time DESC
LIMIT 5;
Einführung in das Databricks Lakehouse

Zusammenfassung

$$

  • Control Plane – von Databricks verwaltet (UI, Planung, Management)
  • Data Plane – deine Cloud (Compute, Speicher, Daten)
  • Audit-Logs – als Systemtabellen in deinem Konto gespeichert
  • Deine Daten verlassen deine Cloud-Umgebung nie
Einführung in das Databricks Lakehouse

Lass uns üben!

Einführung in das Databricks Lakehouse

Preparing Video For Download...