Správa a konfigurace clusterů

Introduction to Databricks Lakehouse

Gang Wang

Senior Data Scientist

Hledání clusterů

$$

All Clusters – vše v pracovním prostoru
My Clusters – clustery, které jsi vytvořil/a
Shared with Me – clustery sdílené ostatními
Filtrovat podle stavu: Running, Terminated

$$

recraft: half: Kartotéka s barevně oddělenými složkami a štítky znázorňující filtrování a organizaci clusterů

Stavy clusteru

flowchart: Pending, Running, Restarting, Terminating, Terminated

Ukončení: co zůstane a co se ztratí

comparison: Preserved, Configuration, Notebooks, Cloud storage | Lost, In-memory data, Installed libraries, Temp files

Ukončení není smazání – konfigurace a notebooky zůstanou
Data v paměti, mezipaměti a pip balíčky se smažou

Kdy restartovat

$$

Nainstalovaná knihovna se nenačítá
Cluster se chová nepředvídatelně nebo je pomalý
Je potřeba vymazat data z mezipaměti
Byl aktualizován init skript nebo proměnná prostředí

$$

recraft: half: Ikona tlačítka napájení s kruhovými šipkami v modrozelené záři znázorňující restart systému

Autoscaling a auto-termination

$$

Autoscaling and Auto-termination

$$

Autoscaling přidává nebo odebírá uzly podle zatížení
Zvládá nárazové úlohy bez zbytečného předimenzování
Auto-termination cluster vypne po nastavené době nečinnosti
Zabrání zapomenutým clusterům zbytečně utrácet kredit

Politiky clusterů

$$

Limity definované adminem pro vytváření clusterů
Omezení typů uzlů, max. počtu uzlů a verzí runtime
Vynucení auto-termination a tagování
Uživatelé vytvářejí clustery v rámci dané politiky

$$

{
  "max_workers": 8,
  "auto_termination_minutes": 30,
  "allowed_node_types": [
    "Standard_DS3_v2",
    "Standard_DS4_v2"
  ]
}

Shrnutí

$$

Filtrování clusterů pro rychlé vyhledání
Ukončení šetří náklady, ale maže paměť a knihovny
Restart načte nové knihovny nebo pomůže při potížích
Autoscaling a auto-termination hlídají náklady automaticky
Politiky clusterů umožňují adminům vynucovat standardy

Pojďme cvičit!

Introduction to Databricks Lakehouse

Preparing Video For Download...