恭喜你！

Databricks Lakehouse 入門

Gang Wang

Senior Data Scientist

第 1 章：Lakehouse 範式

$$

  • lakehouse 結合湖的彈性與倉儲的可靠性
  • 獎章架構（medallion architecture） 將資料分層：bronze → silver → gold
  • 控制層（control plane） 由 Databricks 託管；資料層（data plane） 在你的雲端環境

$$

recraft: half: 一棟現代建築，玻璃外牆同時倒映倉儲與湖泊，象徵統一兩種方法的 lakehouse 架構

Databricks Lakehouse 入門

第 2 章：運算與 Notebook

$$

recraft: half: 一叢互聯伺服器與發光節點，前方開著筆記本，象徵運算資源與互動式開發

$$

  • 通用叢集（all-purpose clusters） 用於互動作業；工作叢集（jobs clusters） 用於自動化
  • 自動擴縮、自動終止 與 原則 控制成本
  • Notebook 透過 magic 指令支援多種語言
  • Databricks Repos 將完整 Git 整合帶入工作區
Databricks Lakehouse 入門

第 3 章：治理與分享

$$

  • Unity Catalog 提供集中治理與自動 血緣（lineage） 追蹤
  • Delta Sharing 讓外部夥伴即時取用資料，無需複製
  • Databricks 之間支援 原生 分享；開放協定 可跨任何平台
  • Lakehouse Federation 無需搬移資料即可查詢外部資料庫

$$

recraft: half: 中央鎖頭盾牌，四周資料流連接不同建築，象徵治理與安全分享

Databricks Lakehouse 入門

第 4 章：部署

$$

recraft: half: 火箭自筆電螢幕升空，上方有部署管線與程式碼，象徵自動化部署到正式環境

$$

  • Databricks Asset Bundles 以程式碼取代手動 UI 部署
  • databricks.yml 定義專案、資源與目標環境
  • CLI 指令：validate、deploy、run、destroy
  • 一切皆在 Git：可重現、可稽核、可自動化
Databricks Lakehouse 入門

接下來去哪裡

$$

  • Introduction to Databricks SQL：SQL 分析與倉儲
  • Data Engineering with Databricks：正式環境的 ETL 管線
  • Databricks Concepts：跨角色的端到端工作流程

$$

recraft: half: 一條蜿蜒道路穿越彩色景觀並延伸遠方，沿途有指示牌，象徵接下來的學習旅程

Databricks Lakehouse 入門

謝謝你！

Databricks Lakehouse 入門

Preparing Video For Download...