資料轉換

Databricks SQL 入門

Kevin Barlow

Data Manager

動機

Lakehouse 流程－擷取

Lakehouse 中的轉換

Lakehouse 流程－轉換

清理與轉換資料

將 Bronze（原始）層清理為 Silver（可分析）層
對後續資料表很關鍵
常見作業
- 移除 NULL 值
- 標準化數值
- 調整資料型別

CREATE TABLE silver_layer AS (
SELECT DISTINCT c.id, 
    c.last_name || ', ' || c.first_name 
        AS name, 
    format(s.date,'YYYY-mm-dd') 
        AS sale_date, 
    round(s.price, 2) 
        AS sale_price
    s.item_name
FROM sales_data s
LEFT JOIN contacts c on c.id = s.id)

資料彙總

將 Silver 層的資料彙整與簡化為 Gold（可用於 BI）層
針對特定商業智慧需求
- 很適合用 view
常見作業
- 移除不必要欄位
- 跨維度彙總
- 計算指標／KPI

CREATE VIEW q3_revenue AS (
SELECT sum(revenue) AS total_rev,
  count(*) AS total_count,
  total_rev / total_count AS avg_sale,
  category,
  item
FROM silver_layer
WHERE date BETWEEN '2024-07-01' 
  AND '2024-09-30'
GROUP BY category, item)

自動化任務

工作流程 GIF

一起來練習吧！

Databricks SQL 入門