Cluster verwalten und konfigurieren

Einführung in das Databricks Lakehouse

Gang Wang

Senior Data Scientist

Deine Cluster finden

All Clusters – alles im Workspace
My Clusters – die von dir erstellten
Shared with Me – Cluster, für die du Zugriff hast
Nach Status filtern: Running, Terminated

recraft: half: Ein Aktenschrank mit farbcodierten Ordnern und Beschriftungen, die geordnete Kategorien zeigen, steht für Cluster-Filterung und -Organisation

Cluster-Status

Flussdiagramm: Pending, Running, Restarting, Terminating, Terminated

Termination: Was bleibt, was ist weg

Vergleich: Behalten: Configuration, Notebooks, Cloud storage | Verloren: In-memory data, Installed libraries, Temp files

Termination ist keine Löschung – Konfig und Notebooks bleiben
In-Memory-Daten, Caches und per pip installierte Pakete werden gelöscht

Wann neu starten

Neue Library installiert, lädt aber nicht
Cluster verhält sich unvorhersehbar oder ist langsam
Zwischengespeicherte Daten im Speicher leeren
Ein Init-Skript oder eine Umgebungsvariable aktualisiert

recraft: half: Ein Power-Button-Symbol mit kreisenden Pfeilen in Blau und Grün, steht für Neustart oder Aktualisierung

Autoscaling und Auto-termination

Autoscaling fügt je nach Bedarf Worker hinzu oder entfernt sie
Handhabt Lastspitzen ohne Überprovisionierung
Auto-termination fährt nach definierter Leerlaufzeit herunter
Verhindert, dass vergessene Cluster Budget verbrennen

Cluster-Richtlinien

Von Admins definierte Leitplanken für die Cluster-Erstellung
Knotentypen, max. Worker und Runtime-Versionen begrenzen
Auto-termination und Tagging erzwingen
Nutzer erstellen Cluster innerhalb der Policy-Grenzen

{
  "max_workers": 8,
  "auto_termination_minutes": 30,
  "allowed_node_types": [
    "Standard_DS3_v2",
    "Standard_DS4_v2"
  ]
}

Zusammenfassung

Filtere Cluster, um schnell das Richtige zu finden
Termination spart Kosten, löscht aber Speicher und Libraries
Neustart, um neue Libraries zu laden oder Probleme zu beheben
Autoscaling und Auto-termination steuern Kosten automatisch
Cluster-Richtlinien lassen Admins Standards durchsetzen

Lass uns üben!

Einführung in das Databricks Lakehouse