Data Intelligence Platform – Compute

Einführung in Databricks

Kevin Barlow

Data Practitioner

Warum ist Compute für Unternehmen wichtig?

Einzelnes Zahnrad

System aus Zahnrädern

Von den Mitgründern von Databricks
Open-Source-Framework
Hochgradig effizientes verteiltes Rechnen
APIs für Python, SQL, Scala, R
Ideal für alle Anwendungsfälle:
- Data Engineering, Machine Learning und Business Intelligence

Schau dir Apache Spark-Kurse auf DataCamp an!

Apache Spark Logo

Klassisch

Rechenressourcen (virtuelle Maschinen) werden in der Compute-Plane erstellt
Databricks stellt die Cloud-Konfiguration bereit
Vorteile: Rechenleistung und Sicherheit in eigener Umgebung, Nutzung vorhandener Compute-Pools usw.
Nachteile: langsame Verfügbarkeit

Databricks Control Plane

Serverless

Rechenressourcen (virtuelle Maschinen) werden im Control Plane erstellt
Ermöglicht Benutzern Zugriff
Vorteile: Schnelle Verfügbarkeit, die neuesten und besten Funktionen, die schnellste Leistung – kontinuierliche Verbesserung durch Databricks im Laufe der Zeit
Nachteile(?): Rechenleistung/Ausführung in fremder Umgebung

Serverless-Architektur

Single-Node

Single-node-Cluster

Multi-Node

Multi-node-Cluster

Auf jedem Databricks-Cluster installiert
- Optimierte Version von Apache Spark
- Photon für schnellere SQL-Abfragen
- Gängige Bibliotheken (z. B. pandas, dplyr, sci-kit learn)
- Logik zur Verbindung mit Databricks-Diensten

Allgemeine Empfehlung: Neueste Long-Term-Support-(LTS)-Version der Runtime verwenden

Cluster mit Databricks Runtime

Einführung in Databricks