Platforma Data Intelligence - Calcul

Introducere în Databricks

Kevin Barlow

Data Practitioner

De ce este important calculul pentru organizații?

Roată dințată

Sistem de roți dințate

Creat de co-fondatorii Databricks
Framework open source
Calcul distribuit extrem de eficient
API-uri pentru Python, SQL, Scala, R
Potrivit pentru toate cazurile de utilizare:
- de la ingineria datelor la machine learning și business intelligence

Descoperiți cursurile Apache Spark disponibile pe DataCamp!

Logo Apache Spark

Classic

Resursele de calcul (mașini virtuale) sunt create în Planul de Calcul
Databricks furnizează configurația cloud-ului dumneavoastră
Avantaje: calcul și securitate în mediul propriu, utilizarea pool-urilor de calcul existente etc.
Dezavantaje: timp de pornire lent

Planul de Control Databricks

Serverless

Resursele de calcul (mașini virtuale) sunt create în Planul de Control
Databricks oferă acces utilizatorilor
Avantaje: pornire rapidă, funcționalități de ultimă generație, performanță ridicată, îmbunătățită continuu de Databricks
Dezavantaje(?): calculul nu se află în mediul dumneavoastră

Arhitectură Serverless

Nod unic

Cluster cu nod unic

Noduri multiple

Cluster cu noduri multiple

Instalat pe fiecare cluster Databricks
- Versiune optimizată a Apache Spark
- Photon pentru interogări SQL mai rapide
- Biblioteci comune (de ex., pandas, dplyr, sci-kit learn)
- Logică de conectare cu serviciile Databricks

Recomandare generală: Utilizați cea mai recentă versiune Long Term Support (LTS) a Runtime-ului

Cluster cu Databricks Runtime

Introducere în Databricks