Tipi di cluster e runtime

Introduzione a Databricks Lakehouse

Gang Wang

Senior Data Scientist

Cos'è un cluster?

Un insieme di macchine virtuali che eseguono il tuo codice
Un nodo driver coordina il lavoro
Uno o più nodi worker eseguono l'elaborazione
I cluster leggono i dati dallo storage cloud

gerarchia: Driver Node, Worker 1, Worker 2, Worker 3, Cloud Storage

All-purpose clusters

Sviluppo interattivo e query ad hoc
Condiviso tra più utenti del team
Resta attivo finché non lo fermi manualmente
Pensalo come la tua auto personale: sempre disponibile, ma paghi anche quando è parcheggiata

recraft: half: Un'auto personale parcheggiata in un vialetto, sempre disponibile ma con costi anche da ferma: rappresenta una risorsa di calcolo sempre attiva

Jobs clusters

Creati automaticamente all'avvio di un job
Eseguono un singolo task, poi terminano
Nessuna gestione manuale richiesta
Ottimizzati nei costi per ambienti di produzione

recraft: half: Un taxi moderno con tassametro acceso: rappresenta una risorsa di calcolo on-demand che si avvia e si ferma automaticamente

Quando usare cosa?

confronto: All-Purpose, Sviluppo interattivo, Lavoro in notebook, SQL ad hoc, Condivisione team | Jobs, ETL notturni, Report pianificati, Test automatici, Produzione

Errore comune: eseguire pipeline di produzione su all-purpose clusters

Databricks Runtime

Stack software versionato che gira su ogni cluster
Include Apache Spark, Delta Lake, Python, R, Scala
Versioni LTS - supporto a lungo termine, consigliate per la produzione
ML Runtime aggiunge librerie ML preinstallate

livelli: Runtime 15.4 LTS, Apache Spark 3.5.x, Delta Lake 3.2.x, Python 3.11 / Scala 2.12 / R 4.3, Librerie di sistema

Riepilogo

All-purpose clusters - interattivi, condivisi, gestiti manualmente
Jobs clusters - automatizzati, mono-task, ottimizzati nei costi
Databricks Runtime - stack software versionato (usa LTS in produzione)
Abbina il tipo di cluster al carico per controllare i costi

Esercitiamoci!

Introduzione a Databricks Lakehouse