Klíčové prvky Databricks SQL

Úvod do Databricks SQL

Kevin Barlow

Data Manager

Užitečná analogie

Strom se skládá z mnoha různých částí, které dohromady tvoří celek

GIF stromového systému

V Databricks SQL se různé komponenty spojují do řešení datového skladu

Prvky Databricks SQL

Úvod do Databricks SQL

Dotaz

  • Základní „jednotka" analýzy v Databricks SQL
  • Spouští SQL kód na výpočetním prostředku
  • Používá standard ANSI SQL
  • Zpracovává data z:
    • Unity Catalog
    • Delta tabulek
    • Souborů v datovém jezeře
    • Datových streamů
SELECT
    orderdate AS Date,
    orderpriority AS Priority
    sum(totalprice) AS TotalPrice
FROM sfdc.sales.orders
GROUP BY
    1, 2
ORDER BY
    1, 2
Úvod do Databricks SQL

SQL Warehouse

  • Výpočetní cluster dedikovaný pro SQL
  • Optimalizace (např. Photon)
  • Jednodušší správa
  • Snadné škálování
  • Dotazy a nástroje BI

GIF SQL Warehouse

Úvod do Databricks SQL

Tabulky vs. pohledy

Tabulky

  • Fyzické reprezentace datových sad
  • Uloženy ve formátu Delta
  • Čitelné a přístupné mimo datový pipeline
  • Možnost optimalizace rozložení dat (partitioning atd.)

Tabulka v objektovém úložišti

Úvod do Databricks SQL

Tabulky vs. pohledy

Pohledy

  • Virtuální reprezentace výsledků dotazů v Unity Catalog
  • Rychlé čtení dat
  • Zjednodušují následné dotazy
    • Zdrojový dotaz obsahuje mnoho joinů, filtrů atd.
  • Dostupné inkrementální zpracování dat

Diagram pohledu

Úvod do Databricks SQL

Vizualizace a dashboardy

Vizualizace

  • Vizuální reprezentace výsledku dotazu
  • Vytvářeny k jednomu konkrétnímu dotazu

Konfigurace vizualizací

Dashboardy

  • Kolekce několika vizualizací
  • Z více datových sad / výsledků dotazů

Ukázkový dashboard

Úvod do Databricks SQL

Pojďme procvičovat!

Úvod do Databricks SQL

Preparing Video For Download...