Перетворення даних

Вступ до Databricks SQL

Kevin Barlow

Data Manager

Мотивація

Потік Lakehouse — Завантаження

Вступ до Databricks SQL

Перетворення в lakehouse

Схема Lakeflow — Перетворення

Вступ до Databricks SQL

Очищення та перетворення даних

  • Очищення даних у шарі Bronze (сирі) до шару Silver (готові до аналітики)
  • Важливий крок для наступних таблиць даних
  • Типові дії
    • Видалення значень NULL
    • Стандартизація значень
    • Узгодження типів даних
CREATE TABLE silver_layer AS (
SELECT DISTINCT c.id, 
    c.last_name || ', ' || c.first_name 
        AS name, 
    format(s.date,'YYYY-mm-dd') 
        AS sale_date, 
    round(s.price, 2) 
        AS sale_price
    s.item_name
FROM sales_data s
LEFT JOIN contacts c on c.id = s.id)
Вступ до Databricks SQL

Агрегування даних

  • Об'єднання й спрощення даних із шару Silver у шар Gold (готові до BI)
  • Для конкретних потреб business intelligence
    • Чудовий варіант для подань (views)
  • Типові дії
    • Видалення зайвих стовпців
    • Агрегування за вимірами
    • Розрахунок метрик / KPI
CREATE VIEW q3_revenue AS (
SELECT sum(revenue) AS total_rev,
  count(*) AS total_count,
  total_rev / total_count AS avg_sale,
  category,
  item
FROM silver_layer
WHERE date BETWEEN '2024-07-01' 
  AND '2024-09-30'
GROUP BY category, item)
Вступ до Databricks SQL

Автоматизація завдань

Робочі процеси GIF

Вступ до Databricks SQL

Давайте потренуємось!

Вступ до Databricks SQL

Preparing Video For Download...