Typy clusterů a runtimes

Introduction to Databricks Lakehouse

Gang Wang

Senior Data Scientist

Co je cluster?

Sada virtuálních strojů, které spouštějí tvůj kód
Jeden uzel driver koordinuje práci
Jeden nebo více uzlů worker provádí zpracování
Clustery čtou data z cloudového úložiště

hierarchie: uzel Driver, Worker 1, Worker 2, Worker 3, cloudové úložiště

Clustery pro obecné použití

Interaktivní vývoj a ad-hoc dotazy
Sdílené napříč členy týmu
Běží, dokud je ručně nezastavíš
Jako vlastní auto – vždy k dispozici, ale platíš i když stojí

osobní auto zaparkované na příjezdové cestě – vždy dostupné, ale stojí peníze i když se nepoužívá; znázorňuje výpočetní zdroj trvale zapnutý

Clustery pro úlohy (Jobs clusters)

Vytvořeny automaticky při spuštění úlohy
Provedou jednu úlohu a pak se ukončí
Bez nutnosti ručního řízení
Nákladově optimalizované pro produkční zátěž

moderní taxi se svítícím taxametrem na střeše; znázorňuje výpočetní zdroj na vyžádání, který se spustí a zastaví automaticky

Kdy použít který?

srovnání: Obecné použití – interaktivní vývoj, práce v notebooku, ad-hoc SQL, sdílení v týmu | Úlohy – noční ETL, plánované reporty, automatické testování, produkce

Častá chyba: spouštění produkčních pipeline na clusterech pro obecné použití

Databricks Runtime

Verzovaný softwarový stack běžící na každém clusteru
Obsahuje Apache Spark, Delta Lake, Python, R, Scala
Verze LTS – dlouhodobá podpora, doporučená pro produkci
ML Runtime přidává předinstalované ML knihovny

vrstvy: Runtime 15.4 LTS, Apache Spark 3.5.x, Delta Lake 3.2.x, Python 3.11 / Scala 2.12 / R 4.3, systémové knihovny

Shrnutí

Clustery pro obecné použití – interaktivní, sdílené, ručně spravované
Clustery pro úlohy – automatizované, jednorázové, nákladově optimalizované
Databricks Runtime – verzovaný softwarový stack (pro produkci používej LTS)
Zvol typ clusteru podle zátěže a drž náklady pod kontrolou

Pojďme cvičit!

Introduction to Databricks Lakehouse