Data Intelligence Platform – Compute

Einführung in Databricks

Kevin Barlow

Data Practitioner

Warum ist Compute für Unternehmen wichtig?

Einzelnes Zahnrad

Zahnradsystem

Von den Mitbegründern von Databricks
Open-Source-Framework
Hocheffizientes verteiltes Rechnen
APIs für Python, SQL, Scala, R
Perfekt für alle Anwendungsfälle:
- Datenverarbeitung für maschinelles Lernen und Business Intelligence

Schau dir die Apache-Spark-Kurse auf DataCamp an!

Apache-Spark-Logo

Klassisch

Rechenressourcen (virtuelle Maschinen) werden in Compute Plane erstellt
Databricks stellt Konfiguration für deine Cloud bereit
Vorteile: Rechenleistung und Sicherheit in deiner Umgebung, Nutzung bereits vorhandener Rechenpools usw.
Nachteile: Langsame Startzeit

Databricks-Control Plane

Ohne Server

Rechenressourcen (virtuelle Maschinen) werden in Control Plane erstellt
Databricks bietet deinem Team Zugriff
Vorteile: Schnelle Startzeit, die neuesten und besten Funktionen, die schnellste Leistung – Databricks verbessert sich konstant
Nachteile(?): Rechenkapazität nicht in deiner Umgebung

Serverlose Architektur

Single-Node

Single-Node-Cluster

Multi-Node

Multi-Node-Cluster

Auf jedem Databricks-Cluster installiert
- Optimierte Version von Apache Spark
- Photon für schnellere SQL-Abfragen
- Gängige Bibliotheken (z. B. pandas, dplyr, sci-kit learn)
- Logik für die Verbindung mit Databricks-Diensten

Allgemeine Empfehlung: Verwende die aktuellste Long Term Support (LTS)-Version der Runtime

Cluster mit Databricks Runtime

Einführung in Databricks