Data transformeren

Introductie tot Databricks SQL

Kevin Barlow

Data Manager

Motivatie

Lakehouse-stroom - Inname

Transformatie in de lakehouse

Lakeflow-diagram - Transformatie

Data opschonen en transformeren

Data opschonen in de Bronze-laag (ruw) naar de Silver-laag (analytics-klaar)
Belangrijke stap voor tabellen verderop
Veelvoorkomende taken
- NULL-waarden verwijderen
- Waarden standaardiseren
- Datatypen aanpassen

CREATE TABLE silver_layer AS (
SELECT DISTINCT c.id, 
    c.last_name || ', ' || c.first_name 
        AS name, 
    format(s.date,'YYYY-mm-dd') 
        AS sale_date, 
    round(s.price, 2) 
        AS sale_price
    s.item_name
FROM sales_data s
LEFT JOIN contacts c on c.id = s.id)

Data aggregeren

Data uit de Silver-laag combineren en vereenvoudigen naar de Gold-laag (BI-klaar)
Bedoeld voor een specifieke business intelligence-behoefte
- Sterke kandidaat voor views
Veelvoorkomende taken
- Overbodige kolommen verwijderen
- Aggregaties over dimensies
- Statistieken/KPI's berekenen

CREATE VIEW q3_revenue AS (
SELECT sum(revenue) AS total_rev,
  count(*) AS total_count,
  total_rev / total_count AS avg_sale,
  category,
  item
FROM silver_layer
WHERE date BETWEEN '2024-07-01' 
  AND '2024-09-30'
GROUP BY category, item)

Taken automatiseren

Workflows-GIF

Laten we oefenen!

Introductie tot Databricks SQL