Преобразование данных

Введение в Databricks SQL

Kevin Barlow

Data Manager

Мотивация

Схема Lakehouse — загрузка данных

Преобразование в lakehouse

Схема Lakeflow — преобразование

Очистка и преобразование данных

Очистка данных из слоя Bronze (сырые) в слой Silver (готовые к аналитике)
Важный шаг для последующих таблиц данных
Типичные операции
- Удаление значений NULL
- Стандартизация значений
- Приведение типов данных

CREATE TABLE silver_layer AS (
SELECT DISTINCT c.id, 
    c.last_name || ', ' || c.first_name 
        AS name, 
    format(s.date,'YYYY-mm-dd') 
        AS sale_date, 
    round(s.price, 2) 
        AS sale_price
    s.item_name
FROM sales_data s
LEFT JOIN contacts c on c.id = s.id)

Агрегирование данных

Объединение и упрощение данных из слоя Silver в слой Gold (готовый для BI)
Ориентирован на конкретные задачи бизнес-аналитики
- Подходит для представлений (views)
Типичные операции
- Удаление лишних столбцов
- Агрегирование по измерениям
- Вычисление метрик / KPI

CREATE VIEW q3_revenue AS (
SELECT sum(revenue) AS total_rev,
  count(*) AS total_count,
  total_rev / total_count AS avg_sale,
  category,
  item
FROM silver_layer
WHERE date BETWEEN '2024-07-01' 
  AND '2024-09-30'
GROUP BY category, item)

Автоматизация задач

GIF с рабочими процессами

Давайте потренируемся!

Введение в Databricks SQL