徽章式架构

Databricks Lakehouse 入门

Gang Wang

Senior Data Scientist

从原始到可用

$$

  • 原始数据落入 lakehouse——然后呢？
  • 杂乱且未校验的记录需走向干净洞见
  • 徽章式架构给出解法
Databricks Lakehouse 入门

数据质量之痛

$$

困惑的数据工程师在一台现代笔记本前，屏幕涌入杂乱打结的数据流

$$

  • 来自数十个来源的原始数据
  • 字段缺失、重复、类型不匹配
  • 分析师需要可信数据
Databricks Lakehouse 入门

三层同心，目标一致

$$

专业厨房三段式流程（自左至右）：标为 Bronze 的原料箱、标为 Silver 的切配台、标为 Gold 的精致成品摆盘，现代扁平插画

Databricks Lakehouse 入门

Bronze 层

$$

  • 按到达即采集
  • 格式不一，字段可空
  • 仅追加——不删不改
  • 您的安全网——可随时回溯
{"pickup": "2024-03-15T08:23",
 "dropoff": "2024-03-15 8:41",
 "fare": null,
 "zone": "236",
 "distance": "4.2mi"}

{"pickup": "03/15/2024 09:10",
 "dropoff": "2024-03-15T09:32",
 "fare": 18.50,
 "zone": "unknown",
 "distance": 6.1}
Databricks Lakehouse 入门

Silver 层

$$

SELECT * FROM silver_taxi_trips
LIMIT 3;

pickup_ts   | dropoff_ts  | fare  | zone_id | dist_km
2024-03-15 | 2024-03-15 | 14.20 | 236     | 6.8
2024-03-15… | 2024-03-15 | 18.50 | 142     | 9.8
2024-03-15 | 2024-03-15 | 22.00 | 79      | 12.1

$$

  • 时间戳 → 规范 datetime 类型
  • 移除空值，去重去噪
  • 强制模式——类型一致
Databricks Lakehouse 入门

Gold 层

$$

  • 业务级汇总
  • 支撑仪表板与管理报表
  • 为快速消费而优化

$$

SELECT * FROM gold_taxi_daily
LIMIT 3;

date       | zone_name      | avg_fare | trips
2024-03-15 | Upper East     | 16.80    | 1,247
2024-03-15 | Midtown        | 22.45    | 3,891
2024-03-15 | Financial Dist | 19.10    | 2,156
Databricks Lakehouse 入门

谁通常使用哪一层？

三层横向堆叠：顶部 Gold 层配分析师图标，中部 Silver 层配数据科学家图标，底部 Bronze 层配数据工程师图标，均标注角色名，简洁信息图风格

  • 这些是常见范式，非硬性规定——任何角色都可访问任一层
Databricks Lakehouse 入门

小结

$$

  • Bronze——全面留存原始，安全兜底
  • Silver——清洗校验，可靠地基
  • Gold——业务聚合，直接洞见
  • 各层 → 面向不同使用者与标准

$$

三层领奖台，铜银金奖牌对应数据质量分层，现代简洁风

Databricks Lakehouse 入门

让我们一起练习吧！

Databricks Lakehouse 入门

Preparing Video For Download...