Kom igång med Databricks SQL

Databricks – grundläggande koncept

Kevin Barlow

Data Practitioner

SQL-beräkning vs. allmän beräkning

Att designa beräkningskluster för data science eller datatekniska arbetsbelastningar...

import pyspark.sql.functions as F

spark_df = (spark
            .read
            .table('user_table'))

spark_df = (spark_df
            .withColumn('score', 
                        F.flatten(...))
           )

skiljer sig i grunden från att designa beräkning för SQL-arbetsbelastningar

SELECT *
FROM user_table u
LEFT JOIN product_use p
    ON u.userId = p.userId
WHERE country = 'USA'
AND utilization >= 0.6

SQL Warehouse

SQL Warehouse-gränssnitt

SQL Warehouse

Konfigurationsalternativ för SQL Warehouse

Klusternamn
Klusterstorleks (S, M, L, osv.)
Skalningsbeteende

SQL Warehouse-gränssnitt – klusterstorlek

SQL Warehouse

Konfigurationsalternativ för SQL Warehouse

Klusternamn
Klusterstorlek (S, M, L, osv.)
Skalningsbeteende
Klustertyp

SQL Warehouse-gränssnitt – klustertyp

SQL Warehouse-typer

Olika typer erbjuder olika fördelar

Classic

Mest grundläggande SQL-beräkning
I kundens molnmiljö

Pro

Mer avancerade funktioner än Classic
I kundens molnmiljö

Serverless

Toppmoderna funktioner
I Databricks molnmiljö
Bäst kostnadseffektivitet

SQL-redigerare

Vanliga SQL-kommandon

COPY INTO

Hämta rådata och lägg in i Delta
Extraktionssteget i ETL

COPY INTO my_table
FROM '/path/to/files'
FILEFORMAT = <format>
FORMAT_OPTIONS ('mergeSchema' = 'true')
COPY_OPTIONS ('mergeSchema' = 'true');

CREATE <entity> AS

Skapa en tabell eller vy
Transformeringssteget i ETL

CREATE TABLE events
  USING DELTA
  AS (
      SELECT *
    FROM raw_events
    WHERE ...
  )

Nu kör vi en övning!

Databricks – grundläggande koncept