Datová inteligentní platforma – výpočetní prostředky

Introduction to Databricks

Kevin Barlow

Data Practitioner

Proč organizace věnují pozornost výpočetním prostředkům?

Jediné ozubené kolo

Soustava ozubených kol

Vytvořeno spoluzakladateli Databricks
Open source framework
Vysoce efektivní distribuované výpočty
API pro Python, SQL, Scala, R
Vhodný pro všechny případy použití:
- od datového inženýrství po strojové učení a business intelligence

Prohlédněte si kurzy Apache Spark na DataCampu!

Logo Apache Spark

Klasické

Výpočetní prostředky (virtuální stroje) jsou vytvořeny ve výpočetní rovině
Databricks poskytuje konfiguraci vašemu cloudu
Výhody: výpočetní prostředky a zabezpečení ve vašem prostředí, využití existujících výpočetních fondů atd.
Nevýhody: pomalé spuštění

Řídicí rovina Databricks

Bezserverové

Výpočetní prostředky (virtuální stroje) jsou vytvořeny v řídicí rovině
Databricks poskytuje přístup uživatelům
Výhody: rychlé spuštění, nejnovější funkce, nejvyšší výkon, průběžné zlepšování
Nevýhody(?): výpočetní prostředky nejsou ve vašem prostředí

Bezserverová architektura

Jednouzlový

Jednouzlový cluster

Víceuzlový

Víceuzlový cluster

Instalováno na každém clusteru Databricks
- Optimalizovaná verze Apache Spark
- Photon pro rychlejší SQL dotazy
- Běžné knihovny (např. pandas, dplyr, sci-kit learn)
- Logika pro připojení ke službám Databricks

Obecné doporučení: Používejte nejnovější verzi Runtime s dlouhodobou podporou (LTS)

Cluster s Databricks Runtime

Introduction to Databricks