Transformera data

Introduktion till Databricks SQL

Kevin Barlow

Data Manager

Motivation

Lakehouse-flöde – Inmatning

Introduktion till Databricks SQL

Transformering i lakehouse

Lakeflow-diagram – Transformering

Introduktion till Databricks SQL

Rensa och transformera data

  • Rensa data i Bronze-lagret (rådata) till Silver-lagret (analysklart)
  • Viktigt steg för nedströms datatabeller
  • Vanliga åtgärder
    • Ta bort NULL-värden
    • Standardisera värden
    • Justera datatyper
CREATE TABLE silver_layer AS (
SELECT DISTINCT c.id, 
    c.last_name || ', ' || c.first_name 
        AS name, 
    format(s.date,'YYYY-mm-dd') 
        AS sale_date, 
    round(s.price, 2) 
        AS sale_price
    s.item_name
FROM sales_data s
LEFT JOIN contacts c on c.id = s.id)
Introduktion till Databricks SQL

Aggregera data

  • Kombinera och förenkla data från Silver-lagret till Gold-lagret (BI-klart)
  • Anpassat för specifika business intelligence-behov
    • Passar väl som vyer
  • Vanliga åtgärder
    • Ta bort överflödiga kolumner
    • Aggregera över dimensioner
    • Beräkna mått / KPI:er
CREATE VIEW q3_revenue AS (
SELECT sum(revenue) AS total_rev,
  count(*) AS total_count,
  total_rev / total_count AS avg_sale,
  category,
  item
FROM silver_layer
WHERE date BETWEEN '2024-07-01' 
  AND '2024-09-30'
GROUP BY category, item)
Introduktion till Databricks SQL

Automatisera uppgifter

Workflows GIF

Introduktion till Databricks SQL

Nu kör vi en övning!

Introduktion till Databricks SQL

Preparing Video For Download...