为何选择 Lakehouse？

Databricks Lakehouse 入门

Gang Wang

Senior Data Scientist

您将学到

$$

$$

Databricks 品牌标识

$$

探索 Databricks Lakehouse

  1. Lakehouse 中数据如何被组织
  2. 如何管理计算与笔记本
  3. 如何治理并安全共享数据
  4. 如何将成果部署到生产
Databricks Lakehouse 入门

讲师简介

       

Gang Wang

  • 高级数据科学家

  • Origin Energy，澳大利亚（2021 至今）

  • 博士后经验 9+ 年

       

Databricks Lakehouse 入门

数据湖的愿景

$$

recraft: half: 一个宽敞的仓库，堆满各类彩色桶和不同尺寸的箱子，象征多样原始数据存储

$$

  • 低成本存储任意数据
  • 结构化、半结构化、非结构化
  • 灵活的读时模式（schema-on-read）
Databricks Lakehouse 入门

数据湖的阴影面

$$

  • 对数据质量无保证
  • 无内置治理与访问控制
  • "数据沼泽"——难以找到可信数据
  • 分析与 AI 需使用不同工具

$$

recraft: half: 一片幽暗混浊的沼泽，藤蔓缠绕，文件散落并下沉于泥水中，象征丢失且不可靠的数据沼泽

Databricks Lakehouse 入门

数仓的取舍

$$

  • 可靠且高性能
  • 强治理能力
  • 但昂贵且僵硬
  • 仅限结构化数据

$$

recraft: half: 整洁有序的图书馆，书籍整齐陈列，象征结构化且可靠的数据存储

Databricks Lakehouse 入门

引入 Lakehouse

$$

comparison: 数据湖，灵活，低成本，非结构化 | 数据仓库，可靠，可治理，刚性

Databricks Lakehouse 入门

Databricks 的制胜要素

$$

  • 开放文件格式（Delta Lake）
  • 在湖上实现 ACID 事务
  • 统一治理（Unity Catalog）
  • 一体平台覆盖分析、AI 与应用

$$

nanobanana: half: 四块叠放的积木自下而上标注：开放格式（Delta Lake）、ACID 事务、统一治理（Unity Catalog）、分析与 AI 一体平台；简洁现代信息图风格

Databricks Lakehouse 入门

Lakehouse 提升数据质量

$$

flowchart: 原始数据、模式强制、ACID 事务、受治理且可信

$$

  • 写入时执行模式强制
  • 事务日志跟踪每次变更
  • 时光回溯——查询历史版本
Databricks Lakehouse 入门

小结

$$

  • 数据湖——灵活但不够可靠
  • 数据仓库——可靠但僵硬且昂贵
  • Lakehouse——融合二者，统一平台
  • 由 Delta Lake、ACID 与 Unity Catalog 支撑
Databricks Lakehouse 入门

让我们一起练习吧！

Databricks Lakehouse 入门

Preparing Video For Download...