Data Intelligence Platform - Compute

Introductie tot Databricks

Kevin Barlow

Data Practitioner

Waarom geven organisaties om compute?

Enkel tandwiel

Systeem van tandwielen

Gemaakt door de Databricks-medeoprichters
Open-sourceframework
Zeer efficiënte gedistribueerde computing
API's voor Python, SQL, Scala, R
Geschikt voor alle use-cases:
- van data engineering tot machine learning en business intelligence

Bekijk enkele Apache Spark-cursussen op DataCamp!

Apache Spark-logo

Classic

Compute-resources (virtuele machines) worden aangemaakt in de Compute Plane
Databricks levert configuratie aan jouw cloud
Voordelen: compute en security in je eigen omgeving, benut bestaande compute-pools, enz.
Nadelen: trage opstarttijd

Databricks Control Plane

Serverless

Compute-resources (virtuele machines) worden aangemaakt in de Control Plane
Databricks geeft jouw gebruikers toegang
Voordelen: snelle opstart, nieuwste features, hoogste performance, Databricks verbetert performance continu
Nadelen(?): compute staat niet in je eigen omgeving

Serverloze architectuur

Single-node

Single-nodecluster

Multi-node

Multinodecluster

Geïnstalleerd op elke Databricks-cluster
- Geoptimaliseerde versie van Apache Spark
- Photon voor snellere SQL-queries
- Veelgebruikte libraries (bijv. pandas, dplyr, scikit-learn)
- Logica om met Databricks-services te verbinden

Algemeen advies: gebruik de nieuwste Long Term Support (LTS)-versie van de Runtime

Cluster met Databricks Runtime

Introductie tot Databricks