Kluczowe elementy Databricks SQL

Wprowadzenie do Databricks SQL

Kevin Barlow

Data Manager

Pomocna analogia

Drzewo składa się z wielu elementów, które razem tworzą całość

GIF z układem drzewa

W Databricks SQL różne komponenty tworzą razem rozwiązanie hurtowni danych

Elementy Databricks SQL

Zapytanie

Podstawowa „jednostka" analizy w Databricks SQL
Wykonuje kod SQL na zasobach obliczeniowych
Używa standardu ANSI SQL
Przetwarza dane z:
- Unity Catalog
- Tabel Delta
- Plików w data lake
- Strumieni danych

SELECT
    orderdate AS Date,
    orderpriority AS Priority
    sum(totalprice) AS TotalPrice
FROM sfdc.sales.orders
GROUP BY
    1, 2
ORDER BY
    1, 2

SQL Warehouse

Klaster obliczeniowy dedykowany dla SQL
Optymalizacje (np. Photon)
Prostsza administracja
Łatwe skalowanie
Zapytania i narzędzia BI

GIF z SQL Warehouse

Tabele a widoki

Tabele

Fizyczne reprezentacje zbiorów danych
Zapisywane w formacie Delta
Dostępne poza potokiem danych
Możliwa optymalizacja układu danych (partycjonowanie itp.)

Tabela w Object Storage

Tabele a widoki

Widoki

Wirtualne reprezentacje wyników zapytań w Unity Catalog
Szybki odczyt danych
Upraszczają zapytania downstream
- Zapytanie źródłowe zawiera wiele złączeń, filtrów itp.
Dostępne przetwarzanie przyrostowe

Diagram widoku

Wizualizacje i dashboardy

Wizualizacje

Graficzne reprezentacje wyników zapytania
Tworzone na podstawie jednego zapytania

Konfigurowanie wizualizacji

Dashboardy

Zbiór wielu wizualizacji
Obejmujących wiele zbiorów danych / wyników zapytań

Przykładowy dashboard

Czas na ćwiczenia!

Wprowadzenie do Databricks SQL