Introducere în Databricks SQL

Concepte Databricks

Kevin Barlow

Data Practitioner

Calcul SQL vs. Calcul general

Proiectarea clusterelor de calcul pentru date științifice sau inginerie a datelor...

import pyspark.sql.functions as F

spark_df = (spark
            .read
            .table('user_table'))

spark_df = (spark_df
            .withColumn('score', 
                        F.flatten(...))
           )

diferă fundamental de proiectarea calculului pentru sarcini SQL

SELECT *
FROM user_table u
LEFT JOIN product_use p
    ON u.userId = p.userId
WHERE country = 'USA'
AND utilization >= 0.6

SQL Warehouse

Interfața SQL Warehouse

SQL Warehouse

Opțiuni de configurare SQL Warehouse

Nume cluster
Dimensiune cluster (S, M, L etc.)
Comportament de scalare

Interfața SQL Warehouse - Dimensiune cluster

SQL Warehouse

Opțiuni de configurare SQL Warehouse

Nume cluster
Dimensiune cluster (S, M, L etc.)
Comportament de scalare
Tip cluster

Interfața SQL Warehouse - Tip cluster

Tipuri de SQL Warehouse

Tipurile diferite oferă beneficii diferite

Classic

Cel mai simplu calcul SQL
În cloud-ul clientului

Pro

Funcții mai avansate decât Classic
În cloud-ul clientului

Serverless

Funcții de ultimă generație
În cloud-ul Databricks
Cel mai eficient ca și cost

Editor SQL

Comenzi SQL frecvente

COPY INTO

Preia date brute și le încarcă în Delta
Etapa de extragere din ETL

COPY INTO my_table
FROM '/path/to/files'
FILEFORMAT = <format>
FORMAT_OPTIONS ('mergeSchema' = 'true')
COPY_OPTIONS ('mergeSchema' = 'true');

CREATE <entity> AS

Creează un tabel sau o vizualizare
Etapa de transformare din ETL

CREATE TABLE events
  USING DELTA
  AS (
      SELECT *
    FROM raw_events
    WHERE ...
  )

Să exersăm!

Concepte Databricks