Wichtige Databricks-SQL-Assets

Einführung in Databricks SQL

Kevin Barlow

Data Manager

Hilfreiche Analogie

Ein Baum besteht aus vielen Komponenten, die zusammen das Ganze bilden

Baumsystem GIF

In Databricks SQL ergeben verschiedene Bausteine gemeinsam ein Data-Warehouse

Databricks SQL-Assets

Abfrage

Die grundlegende „Einheit“ der Analyse in Databricks SQL
Führt SQL-Code auf Compute aus
Nutzt den ANSI-SQL-Standard
Verarbeitet Daten aus:
- Unity Catalog
- Delta-Tabellen
- Data-Lake-Dateien
- Datenströmen

SELECT
    orderdate AS Date,
    orderpriority AS Priority
    sum(totalprice) AS TotalPrice
FROM sfdc.sales.orders
GROUP BY
    1, 2
ORDER BY
    1, 2

SQL Warehouse

Für SQL dedizierter Compute-Cluster
Optimierungen (z. B. Photon)
Einfachere Administration
Leicht skalierbar
Für Abfragen und BI-Tools

SQL Warehouse GIF

Tabellen vs. Views

Tabellen

Physische Darstellungen von Datasets
Im Delta-Format gespeichert
Außerhalb der Pipeline les- und zugreifbar
Datenlayout optimierbar (Partitionierung etc.)

Tabelle im Objektspeicher

Tabellen vs. Views

Views

Virtuelle Darstellungen von Abfrageergebnissen im Unity Catalog
Schnelles Lesen
Ideal zum Vereinfachen nachgelagerter Abfragen
- Quellabfrage hat viele Joins, Filter etc.
Inkrementelle Verarbeitung möglich

View-Diagramm

Visualisierungen und Dashboards

Visualisierungen

Visuelle Darstellungen eines Abfrageergebnisses
Beziehen sich auf eine einzelne Abfrage

Visualisierungen konfigurieren

Dashboards

Sammlung mehrerer Visualisierungen
Über mehrere Datasets/Abfrageergebnisse hinweg

Beispiel-Dashboard

Lass uns üben!

Einführung in Databricks SQL