Začínáme s Databricks SQL

Databricks Concepts

Kevin Barlow

Data Practitioner

SQL Compute vs. obecný Compute

Návrh výpočetních clusterů pro datovou vědu nebo datové inženýrství...

import pyspark.sql.functions as F

spark_df = (spark
            .read
            .table('user_table'))

spark_df = (spark_df
            .withColumn('score', 
                        F.flatten(...))
           )

se zásadně liší od návrhu výpočetního výkonu pro SQL úlohy

SELECT *
FROM user_table u
LEFT JOIN product_use p
    ON u.userId = p.userId
WHERE country = 'USA'
AND utilization >= 0.6

SQL Warehouse

Rozhraní SQL Warehouse

SQL Warehouse

Možnosti konfigurace SQL Warehouse

Název clusteru
Velikost clusteru (S, M, L atd.)
Chování škálování

Rozhraní SQL Warehouse – velikost clusteru

SQL Warehouse

Možnosti konfigurace SQL Warehouse

Název clusteru
Velikost clusteru (S, M, L atd.)
Chování škálování
Typ clusteru

Rozhraní SQL Warehouse – typ clusteru

Typy SQL Warehouse

Různé typy přinášejí různé výhody

Classic

Nejzákladnější SQL compute
V cloudu zákazníka

Pro

Pokročilejší funkce než Classic
V cloudu zákazníka

Serverless

Nejnovější funkce
V cloudu Databricks
Nejlepší poměr ceny a výkonu

SQL Editor

Běžné SQL příkazy

COPY INTO

Načte surová data do Delta
Fáze Extract v ETL

COPY INTO my_table
FROM '/path/to/files'
FILEFORMAT = <format>
FORMAT_OPTIONS ('mergeSchema' = 'true')
COPY_OPTIONS ('mergeSchema' = 'true');

CREATE <entity> AS

Vytvoří tabulku nebo pohled
Fáze Transform v ETL

CREATE TABLE events
  USING DELTA
  AS (
      SELECT *
    FROM raw_events
    WHERE ...
  )

Pojďme si procvičit!

Databricks Concepts