Data Intelligence Platform – Beräkning

Introduktion till Databricks

Kevin Barlow

Data Practitioner

Varför bryr sig organisationer om beräkningsresurser?

Enstaka kugghjul

System av kugghjul

Skapades av Databricks medgrundare
Ramverk med öppen källkod
Mycket effektiv distribuerad beräkning
API:er för Python, SQL, Scala, R
Passar alla användningsområden:
- datateknik till maskininlärning och business intelligence

Utforska några av Apache Spark-kurserna på DataCamp!

Apache Spark-logotyp

Klassisk

Beräkningsresurser (virtuella maskiner) skapas i Compute Plane
Databricks tillhandahåller konfiguration till ditt moln
Fördelar: beräkning och säkerhet i din miljö, möjlighet att använda befintliga beräkningspooler m.m.
Nackdelar: lång uppstartstid

Databricks Control Plane

Serverlös

Beräkningsresurser (virtuella maskiner) skapas i Control Plane
Databricks ger dina användare åtkomst
Fördelar: snabb uppstartstid, de senaste funktionerna, högsta prestanda, Databricks förbättrar prestandan löpande
Nackdelar(?): beräkning sker inte i din miljö

Serverlös arkitektur

Enkelnodig

Enkelnodskluster

Flernodigt

Flernodigt kluster

Installeras på varje Databricks-kluster
- Optimerad version av Apache Spark
- Photon för snabbare SQL-frågor
- Vanliga bibliotek (t.ex. pandas, dplyr, sci-kit learn)
- Logik för att ansluta till Databricks-tjänster

Allmän rekommendation: Använd den senaste LTS-versionen (Long Term Support) av Runtime

Kluster med Databricks Runtime

Introduktion till Databricks