Gestionarea și configurarea clusterelor

Introducere în Databricks Lakehouse

Gang Wang

Senior Data Scientist

Găsirea clusterelor tale

All Clusters - tot ce există în workspace
My Clusters - clusterele create de tine
Shared with Me - clustere la care alții ți-au dat acces
Filtrează după stare: Running, Terminated

recraft: half: Un dulap cu dosare colorate și etichete reprezentând categorii organizate, ilustrând filtrarea și organizarea clusterelor

Stările unui cluster

diagramă flux: Pending, Running, Restarting, Terminating, Terminated

Terminare: ce păstrezi și ce pierzi

comparație: Păstrate: Configurație, Notebook-uri, Stocare cloud | Pierdute: Date din memorie, Biblioteci instalate, Fișiere temporare

Terminarea nu înseamnă ștergere - configurația și notebook-urile supraviețuiesc
Datele din memorie, cache-urile și pachetele instalate cu pip sunt șterse

Când să repornești

Ai instalat o bibliotecă nouă care nu se încarcă
Clusterul se comportă imprevizibil sau rulează lent
Trebuie să ștergi datele din cache din memorie
Ai actualizat un script de inițializare sau o variabilă de mediu

recraft: half: O iconiță de buton de pornire cu săgeți circulare în jur, strălucind în albastru și verde, reprezentând o repornire sau reîmprospătare a sistemului

Autoscaling și auto-terminare

Autoscaling adaugă sau elimină workeri în funcție de cerere
Gestionează volumuri de lucru variabile fără a supraprovisiona
Auto-terminarea oprește clusterul după o perioadă de inactivitate
Previne consumul inutil de buget pentru clustere uitate

Politici de cluster

Restricții definite de admin pentru crearea clusterelor
Limitează tipurile de noduri, numărul maxim de workeri și versiunile de runtime
Impun auto-terminarea și etichetarea
Utilizatorii creează clustere în limitele politicii

{
  "max_workers": 8,
  "auto_termination_minutes": 30,
  "allowed_node_types": [
    "Standard_DS3_v2",
    "Standard_DS4_v2"
  ]
}

Rezumat

Filtrează clusterele pentru a găsi rapid ce ai nevoie
Terminarea reduce costurile, dar șterge memoria și bibliotecile
Repornește pentru a încărca biblioteci noi sau a depana probleme
Autoscaling și auto-terminarea controlează automat costurile
Politicile de cluster permit adminilor să impună standarde

Hai să exersăm!

Introducere în Databricks Lakehouse