Belangrijkste Databricks SQL-assets

Introductie tot Databricks SQL

Kevin Barlow

Data Manager

Handige analogie

Een boom heeft veel onderdelen die samen het geheel vormen

Boomsysteem GIF

In Databricks SQL vormen verschillende onderdelen samen een datawarehouse-oplossing

Databricks SQL-assets

Query

De basis‘eenheid’ van analyse in Databricks SQL
Voert SQL-code uit op compute
Gebruikt de ANSI SQL-standaard
Verwerkt data uit:
- Unity Catalog
- Delta-tabellen
- Data lake-bestanden
- Datastreams

SELECT
    orderdate AS Date,
    orderpriority AS Priority
    sum(totalprice) AS TotalPrice
FROM sfdc.sales.orders
GROUP BY
    1, 2
ORDER BY
    1, 2

SQL-warehouse

Computecluster voor SQL
Optimalisaties (bijv. Photon)
Eenvoudiger beheer
Makkelijk schalen
Queries en BI-tools

SQL Warehouse GIF

Tabellen versus views

Tabellen

Fysieke weergaven van datasets
Opgeslagen in Delta-indeling
Leesbaar en toegankelijk buiten de datapijplijn
Data-indeling optimaliseren mogelijk (partities, enz.)

Tabel in objectopslag

Tabellen versus views

Views

Virtuele representaties van queryresultaten in Unity Catalog
Snel lezen van data
Handig om downstream-queries te vereenvoudigen
- Bronquery met veel joins, filters, enz.
Incrementele verwerking mogelijk

View-diagram

Visualisaties en dashboards

Visualisaties

Visuele weergaven van een queryresultaat
Gemaakt voor één specifieke query

Visualisaties configureren

Dashboards

Verzameling van meerdere visualisaties
Over meerdere datasets / queryresultaten

Voorbeelddashboard

Laten we oefenen!

Introductie tot Databricks SQL