Zarządzanie klastrami i ich konfiguracja

Wprowadzenie do Databricks Lakehouse

Gang Wang

Senior Data Scientist

Znajdowanie klastrów

$$

All Clusters - wszystkie klastry w obszarze roboczym
My Clusters - klastry, które utworzyłeś
Shared with Me - klastry udostępnione ci przez innych
Filtruj według stanu: Running, Terminated

$$

recraft: half: A filing cabinet with color-coded folders and labels showing organized categories, representing cluster filtering and organization

Stany klastra

flowchart: Pending, Running, Restarting, Terminating, Terminated

Zatrzymanie klastra: co zostaje, a co znika

comparison: Preserved, Configuration, Notebooks, Cloud storage | Lost, In-memory data, Installed libraries, Temp files

Zatrzymanie to nie usunięcie — konfiguracja i notebooki zostają
Dane w pamięci, pamięci podręczne i pakiety zainstalowane przez pip są czyszczone

Kiedy warto uruchomić ponownie

$$

Zainstalowana biblioteka nie ładuje się
Klaster działa nieprzewidywalnie lub zbyt wolno
Trzeba wyczyścić dane z pamięci podręcznej
Zaktualizowano skrypt inicjalizacyjny lub zmienną środowiskową

$$

recraft: half: A power button icon with circular arrows around it glowing in blue and green, representing a system restart or refresh operation

Autoskalowanie i automatyczne zatrzymanie

$$

Autoscaling and Auto-termination

$$

Autoskalowanie dodaje lub usuwa węzły robocze w zależności od obciążenia
Radzi sobie ze szczytowymi obciążeniami bez nadmiernego przydzielania zasobów
Automatyczne zatrzymanie wyłącza klaster po określonym czasie bezczynności
Zapobiega marnowaniu budżetu przez zapomniane klastry

Zasady dotyczące klastrów

$$

Ograniczenia definiowane przez administratora przy tworzeniu klastrów
Limit typów węzłów, maksymalnej liczby węzłów roboczych i wersji środowiska
Wymuszają automatyczne zatrzymanie i oznaczanie tagami
Użytkownicy tworzą klastry w ramach określonych zasad

$$

{
  "max_workers": 8,
  "auto_termination_minutes": 30,
  "allowed_node_types": [
    "Standard_DS3_v2",
    "Standard_DS4_v2"
  ]
}

Podsumowanie

$$

Filtruj klastry, aby szybko znaleźć to, czego szukasz
Zatrzymanie obniża koszty, ale czyści pamięć i biblioteki
Restart ładuje nowe biblioteki i pomaga rozwiązać problemy
Autoskalowanie i automatyczne zatrzymanie kontrolują koszty automatycznie
Zasady dotyczące klastrów pozwalają administratorom egzekwować standardy

Czas na praktykę!

Wprowadzenie do Databricks Lakehouse

Preparing Video For Download...