Початок роботи з Databricks SQL

Концепції Databricks

Kevin Barlow

Data Practitioner

SQL Compute vs. General Compute

Проєктування обчислювальних кластерів для data science чи data engineering навантажень...

import pyspark.sql.functions as F

spark_df = (spark
            .read
            .table('user_table'))

spark_df = (spark_df
            .withColumn('score', 
                        F.flatten(...))
           )

суттєво відрізняється від проєктування обчислень для SQL-навантажень

SELECT *
FROM user_table u
LEFT JOIN product_use p
    ON u.userId = p.userId
WHERE country = 'USA'
AND utilization >= 0.6

SQL Warehouse

Інтерфейс SQL Warehouse

SQL Warehouse

Параметри конфігурації SQL Warehouse

Назва кластера
Розмір кластера (S, M, L тощо)
Поведінка масштабування

SQL Warehouse UI - Розмір кластера

SQL Warehouse

Параметри конфігурації SQL Warehouse

Назва кластера
Розмір кластера (S, M, L тощо)
Поведінка масштабування
Тип кластера

SQL Warehouse UI - Тип кластера

Типи SQL Warehouse

Різні типи дають різні переваги

Classic

Базові SQL-обчислення
У хмарі замовника

Pro

Більше можливостей, ніж Classic
У хмарі замовника

Serverless

Найновіші можливості
У хмарі Databricks
Найвигідніший за вартістю

SQL Editor

Поширені команди SQL

COPY INTO

Заберіть сирі дані й помістіть у Delta
«Extract» у ETL

COPY INTO my_table
FROM '/path/to/files'
FILEFORMAT = <format>
FORMAT_OPTIONS ('mergeSchema' = 'true')
COPY_OPTIONS ('mergeSchema' = 'true');

CREATE <entity> AS

Створіть Table або View
«Transform» у ETL

CREATE TABLE events
  USING DELTA
  AS (
      SELECT *
    FROM raw_events
    WHERE ...
  )

Давайте потренуємось!

Концепції Databricks