Transformace dat

Úvod do Databricks SQL

Kevin Barlow

Data Manager

Motivace

Schéma lakehouse – příjem dat

Transformace v lakehouse

Schéma Lakeflow – transformace

Čištění a transformace dat

Čištění dat z vrstvy Bronze (surová) do vrstvy Silver (připravená pro analýzy)
Důležitý krok pro navazující datové tabulky
Běžné operace
- Odstraňování hodnot NULL
- Standardizace hodnot
- Úprava datových typů

CREATE TABLE silver_layer AS (
SELECT DISTINCT c.id, 
    c.last_name || ', ' || c.first_name 
        AS name, 
    format(s.date,'YYYY-mm-dd') 
        AS sale_date, 
    round(s.price, 2) 
        AS sale_price
    s.item_name
FROM sales_data s
LEFT JOIN contacts c on c.id = s.id)

Agregace dat

Kombinování a zjednodušování dat ze vrstvy Silver do vrstvy Gold (připravená pro BI)
Určeno pro konkrétní potřeby business intelligence
- Vhodný kandidát pro pohledy (views)
Běžné operace
- Odstraňování nadbytečných sloupců
- Agregace napříč dimenzemi
- Výpočet metrik / KPI

CREATE VIEW q3_revenue AS (
SELECT sum(revenue) AS total_rev,
  count(*) AS total_count,
  total_rev / total_count AS avg_sale,
  category,
  item
FROM silver_layer
WHERE date BETWEEN '2024-07-01' 
  AND '2024-09-30'
GROUP BY category, item)

Automatizace úloh

Animace pracovních postupů

Pojďme si procvičit!

Úvod do Databricks SQL