Pierwsze kroki z Databricks SQL

Koncepcje Databricks

Kevin Barlow

Data Practitioner

Obliczenia SQL a obliczenia ogólne

Projektowanie klastrów obliczeniowych dla zadań data science lub inżynierii danych...

import pyspark.sql.functions as F

spark_df = (spark
            .read
            .table('user_table'))

spark_df = (spark_df
            .withColumn('score', 
                        F.flatten(...))
           )

różni się od projektowania obliczeń dla zadań SQL

SELECT *
FROM user_table u
LEFT JOIN product_use p
    ON u.userId = p.userId
WHERE country = 'USA'
AND utilization >= 0.6

SQL Warehouse

Interfejs SQL Warehouse

SQL Warehouse

Opcje konfiguracji SQL Warehouse

Nazwa klastra
Rozmiar klastra (S, M, L itd.)
Zachowanie skalowania

Interfejs SQL Warehouse – rozmiar klastra

SQL Warehouse

Opcje konfiguracji SQL Warehouse

Nazwa klastra
Rozmiar klastra (S, M, L itd.)
Zachowanie skalowania
Typ klastra

Interfejs SQL Warehouse – typ klastra

Typy SQL Warehouse

Różne typy oferują różne korzyści

Classic

Najbardziej podstawowe obliczenia SQL
W chmurze klienta

Pro

Więcej funkcji niż Classic
W chmurze klienta

Serverless

Najnowocześniejsze funkcje
W chmurze Databricks
Najwyższa efektywność kosztowa

Edytor SQL

Typowe polecenia SQL

COPY INTO

Pobiera surowe dane i ładuje do Delta
Etap Extract w ETL

COPY INTO my_table
FROM '/path/to/files'
FILEFORMAT = <format>
FORMAT_OPTIONS ('mergeSchema' = 'true')
COPY_OPTIONS ('mergeSchema' = 'true');

CREATE <entity> AS

Tworzy tabelę lub widok
Etap Transform w ETL

CREATE TABLE events
  USING DELTA
  AS (
      SELECT *
    FROM raw_events
    WHERE ...
  )

Czas na ćwiczenia!

Koncepcje Databricks