数据转换

Databricks SQL 入门

Kevin Barlow

Data Manager

动机

湖仓流程 - 采集

湖仓中的转换

湖流图 - 转换

清洗与转换数据

将 Bronze（原始）层清洗到 Silver（可分析）层
对下游数据表至关重要
常见操作
- 移除 NULL 值
- 标准化取值
- 调整数据类型

CREATE TABLE silver_layer AS (
SELECT DISTINCT c.id, 
    c.last_name || ', ' || c.first_name 
        AS name, 
    format(s.date,'YYYY-mm-dd') 
        AS sale_date, 
    round(s.price, 2) 
        AS sale_price
    s.item_name
FROM sales_data s
LEFT JOIN contacts c on c.id = s.id)

数据聚合

将 Silver 层数据合并并简化为 Gold（面向 BI）层
面向特定商业智能需求
- 适合作为视图
常见操作
- 移除无关列
- 跨维度聚合
- 计算指标 / KPI

CREATE VIEW q3_revenue AS (
SELECT sum(revenue) AS total_rev,
  count(*) AS total_count,
  total_rev / total_count AS avg_sale,
  category,
  item
FROM silver_layer
WHERE date BETWEEN '2024-07-01' 
  AND '2024-09-30'
GROUP BY category, item)

任务自动化

工作流 GIF

Passons à la pratique !

Databricks SQL 入门