Clustertypen en runtimes

Introductie tot Databricks Lakehouse

Gang Wang

Senior Data Scientist

Wat is een cluster?

Een set virtuele machines die je code draait
Eén driver-node coördineert het werk
Eén of meer worker-nodes doen de verwerking
Clusters lezen data uit cloudopslag

hiërarchie: Driver Node, Worker 1, Worker 2, Worker 3, Cloud Storage

All-purpose clusters

Interactieve ontwikkeling en ad-hocqueries
Gedeeld door meerdere teamleden
Blijven actief tot je ze handmatig stopt
Zie het als je eigen auto: altijd beschikbaar, maar je betaalt ook als hij stilstaat

recraft: half: Een eigen auto op een oprit: altijd beschikbaar maar kost geld als hij stilstaat; staat voor een always-on compute-resource

Jobs clusters

Automatisch aangemaakt bij start van een job
Draaien één taak en stoppen daarna
Geen handmatig beheer nodig
Kostengeoptimaliseerd voor productie

recraft: half: Een moderne taxi met een brandende meter bovenop; staat voor on-demand compute die automatisch start en stopt

Wanneer gebruik je welke?

vergelijking: All-Purpose, Interactieve dev, Notebook-werk, Ad-hoc SQL, Delen in team | Jobs, Nachtelijke ETL, Geplande rapporten, Automatisch testen, Productie

Veelgemaakte fout: productiepijplijnen op all-purpose clusters draaien

Databricks Runtime

Versiegebonden softwarestack die op elk cluster draait
Bevat Apache Spark, Delta Lake, Python, R, Scala
LTS-versies: long-term support, aanbevolen voor productie
ML Runtime voegt vooraf geïnstalleerde ML-bibliotheken toe

lagen: Runtime 15.4 LTS, Apache Spark 3.5.x, Delta Lake 3.2.x, Python 3.11 / Scala 2.12 / R 4.3, Systeembibliotheken

Samenvatting

All-purpose clusters: interactief, gedeeld, handmatig beheerd
Jobs clusters: geautomatiseerd, één taak, kostengeoptimaliseerd
Databricks Runtime: versiegebonden softwarestack (gebruik LTS voor productie)
Kies het clustertype passend bij de workload om kosten te sturen

Laten we oefenen!

Introductie tot Databricks Lakehouse