Gestire e configurare i cluster

Introduzione a Databricks Lakehouse

Gang Wang

Senior Data Scientist

Trovare i tuoi cluster

All Clusters - tutto lo spazio di lavoro
My Clusters - quelli che hai creato tu
Shared with Me - cluster a cui altri ti hanno dato accesso
Filtra per stato: Running, Terminated

recraft: half: Un archivio con cartelle a colori ed etichette che mostrano categorie organizzate, a rappresentare filtro e organizzazione dei cluster

Stati del cluster

flowchart: Pending, Running, Restarting, Terminating, Terminated

Terminazione: cosa resta e cosa si perde

comparison: Conservato, Configurazione, Notebook, Cloud storage | Perso, Dati in memoria, Librerie installate, File temporanei

La terminazione non è eliminazione: config e notebook restano
Dati in memoria, cache e pacchetti installati via pip vengono svuotati

Quando riavviare

Hai installato una nuova libreria che non si carica
Il cluster si comporta in modo imprevedibile o è lento
Serve svuotare i dati in cache dalla memoria
Hai aggiornato uno script di init o una variabile d'ambiente

recraft: half: Un'icona di pulsante di accensione con frecce circolari attorno, che si illumina in blu e verde, a rappresentare un riavvio o un refresh del sistema

Autoscaling e terminazione automatica

Autoscaling aggiunge o rimuove worker in base alla domanda
Gestisce carichi a picchi senza over-provisioning
Auto-termination spegne dopo un periodo di inattività
Evita che cluster dimenticati brucino budget

Policy dei cluster

Guardrail definiti dagli admin per la creazione dei cluster
Limita tipi di nodo, max worker e versioni runtime
Impone auto-termination e tagging
Gli utenti creano cluster entro i vincoli della policy

{
  "max_workers": 8,
  "auto_termination_minutes": 30,
  "allowed_node_types": [
    "Standard_DS3_v2",
    "Standard_DS4_v2"
  ]
}

Riepilogo

Filtra i cluster per trovare subito ciò che ti serve
La terminazione riduce i costi ma svuota memoria e librerie
Riavvia per attivare nuove librerie o fare troubleshooting
Autoscaling e auto-termination controllano i costi in automatico
Le policy dei cluster permettono agli admin di imporre standard

Esercitiamoci!

Introduzione a Databricks Lakehouse