Platforma Data Intelligence - Obliczenia

Wprowadzenie do Databricks

Kevin Barlow

Data Practitioner

Dlaczego organizacje dbają o zasoby obliczeniowe?

Pojedyncze koło zębate

System kół zębatych

Stworzony przez współzałożycieli Databricks
Framework open source
Wysoce wydajne przetwarzanie rozproszone
API dla Python, SQL, Scala, R
Sprawdza się w różnych zastosowaniach:
- od inżynierii danych po uczenie maszynowe i analizę biznesową

Sprawdź kursy Apache Spark na DataCamp!

Logo Apache Spark

Klasyczny

Zasoby obliczeniowe (maszyny wirtualne) tworzone są w Compute Plane
Databricks dostarcza konfigurację do Twojej chmury
Zalety: środowisko obliczeniowe i bezpieczeństwo w Twoim środowisku, możliwość użycia istniejących pul obliczeniowych itd.
Wady: wolny czas uruchamiania

Databricks Control Plane

Bezserwerowe

Zasoby obliczeniowe (maszyny wirtualne) tworzone są w Control Plane
Databricks zapewnia dostęp użytkownikom
Zalety: szybki start, najnowsze funkcje, najwyższa wydajność, stale ulepszana przez Databricks
Wady(?): środowisko obliczeniowe poza Twoim środowiskiem

Architektura bezserwerowa

Jednowęzłowy

Klaster jednowęzłowy

Wielowęzłowy

Klaster wielowęzłowy

Instalowane na każdym klastrze Databricks
- Zoptymalizowana wersja Apache Spark
- Photon dla szybszych zapytań SQL
- Popularne biblioteki (np. pandas, dplyr, sci-kit learn)
- Logika integracji z usługami Databricks

Ogólna rekomendacja: Używaj najnowszej wersji Long Term Support (LTS) środowiska Runtime

Klaster z Databricks Runtime

Wprowadzenie do Databricks