為何選擇 Lakehouse？

Databricks Lakehouse 入門

Gang Wang

Senior Data Scientist

你將學到什麼

$$

$$

Databricks 彩色堆疊標誌

$$

探索 Databricks Lakehouse

  1. Lakehouse 中資料的組織方式
  2. 如何管理 compute 與 notebooks
  3. 如何治理並安全分享資料
  4. 如何將成果部署到生產環境
Databricks Lakehouse 入門

講師介紹

       

Gang Wang

  • 資深資料科學家

  • Origin Energy，澳洲（2021 至今）

  • 博士後經驗 9+ 年

       

Databricks Lakehouse 入門

資料湖的承諾

$$

recraft: half: 一座寬敞的倉庫，擺滿各色各樣不同尺寸的桶與箱，象徵多元原始資料儲存

$$

  • 低成本儲存各類資料
  • 結構化、半結構化、非結構化
  • 彈性的 schema-on-read
Databricks Lakehouse 入門

資料湖的陰暗面

$$

  • 對資料品質無保證
  • 無內建治理與存取控制
  • 「資料沼澤」——難以找到可信資料
  • 分開的分析與 AI 工具

$$

recraft: half: 昏暗混濁的沼澤，糾結的藤蔓與下沉於泥水中的零散檔案，象徵遺失且不可靠的資料沼澤

Databricks Lakehouse 入門

資料倉儲的取捨

$$

  • 可靠且效能佳
  • 強健的治理
  • 但昂貴且僵硬
  • 僅限結構化資料

$$

recraft: half: 井然有序的圖書館，書籍整齊陳列於書架上，象徵結構化且可靠的資料儲存

Databricks Lakehouse 入門

Lakehouse 登場

$$

comparison: Data Lake，彈性、低成本、非結構化 | Data Warehouse，可靠、可治理、僵硬

Databricks Lakehouse 入門

Databricks 如何實現？

$$

  • 開放檔案格式（Delta Lake）
  • 在湖上支援 ACID 交易
  • 統一治理（Unity Catalog）
  • 單一平台涵蓋分析、AI 與應用

$$

nanobanana: half: 四塊堆疊積木自下而上標示：Open Formats (Delta Lake)、ACID Transactions、Unified Governance (Unity Catalog)、One Platform for Analytics and AI，現代風資訊圖

Databricks Lakehouse 入門

Lakehouse 提升資料品質

$$

flowchart: Raw Data、Schema Enforcement、ACID Transactions、Governed and Trusted

$$

  • 寫入時強制套用綱要（schema）
  • 交易日誌追蹤每次變更
  • 時間旅行：查詢歷史版本
Databricks Lakehouse 入門

重點總結

$$

  • 資料湖——彈性高但不可靠
  • 資料倉儲——可靠但僵硬且昂貴
  • Lakehouse——結合兩者於單一平台
  • 以 Delta Lake、ACID 與 Unity Catalog 驅動
Databricks Lakehouse 入門

一起來練習吧！

Databricks Lakehouse 入門

Preparing Video For Download...