Premiers pas avec Databricks SQL

Concepts de Databricks

Kevin Barlow

Data Practitioner

Calcul SQL vs calcul général

Concevoir des grappes de calcul pour la science ou l'ingénierie des données…

import pyspark.sql.functions as F

spark_df = (spark
            .read
            .table('user_table'))

spark_df = (spark_df
            .withColumn('score', 
                        F.flatten(...))
           )

est fondamentalement différent de la conception du calcul pour des charges SQL

SELECT *
FROM user_table u
LEFT JOIN product_use p
    ON u.userId = p.userId
WHERE country = 'USA'
AND utilization >= 0.6

SQL Warehouse

Interface SQL Warehouse

SQL Warehouse

Options de configuration de SQL Warehouse

Nom de la grappe
Taille de la grappe (S, M, L, etc.)
Comportement d'extensibilité

Interface SQL Warehouse - Taille de la grappe

SQL Warehouse

Options de configuration de SQL Warehouse

Nom de la grappe
Taille de la grappe (S, M, L, etc.)
Comportement d'extensibilité
Type de grappe

Interface SQL Warehouse - Type de grappe

Types de SQL Warehouse

Chaque type offre des avantages distincts

Classic

Calcul SQL le plus simple
Dans le nuage du client

Pro

Plus de fonctions que Classic
Dans le nuage du client

Serverless

Fonctions de pointe
Dans le nuage de Databricks
Le plus économique

Éditeur SQL

Commandes SQL courantes

COPY INTO

Prendre les données brutes et les charger dans Delta
Le « Extract » de l'ETL

COPY INTO my_table
FROM '/path/to/files'
FILEFORMAT = <format>
FORMAT_OPTIONS ('mergeSchema' = 'true')
COPY_OPTIONS ('mergeSchema' = 'true');

CREATE <entity> AS

Créer une table ou une vue
Le « Transform » de l'ETL

CREATE TABLE events
  USING DELTA
  AS (
      SELECT *
    FROM raw_events
    WHERE ...
  )

Passons à la pratique !

Concepts de Databricks