從手動到自動化部署

Databricks Lakehouse 入門

Gang Wang

Senior Data Scientist

手動部署的問題

$$

  • 透過 UI 一個一個設定工作
  • 手動將 notebooks 複製到生產資料夾
  • 測試與生產之間設定會漂移
  • 無法從零重現部署

$$

recraft: half: 一個人坐在貼滿便利貼與雜亂紙張的桌前，象徵手動部署流程的混亂

Databricks Lakehouse 入門

為何在規模化時很重要

$$

  • 典型專案包含 jobs、pipelines、clusters、permissions、schedules
  • 各自於 UI 中分開設定
  • 成員離職—其設定知識也隨之流失
  • 稽核詢問「上個月改了什麼？」—無明確答案

$$

recraft: half: 辦公室白板上布滿糾結的圖表、被劃掉的筆記與問號，象徵組織知識流失與設定混亂

Databricks Lakehouse 入門

什麼是 Databricks Asset Bundles？

$$

radial: Databricks Asset Bundles

$$

  • 一切放在專案資料夾，以 Git 版控，用單一 CLI 指令部署
Databricks Lakehouse 入門

DAB 的優點

$$

  • 可重現：每次部署相同設定
  • 版控：變更由 Git 追蹤
  • 環境提升：dev → staging → prod
  • CI/CD 整合：在 pipelines 中自動化部署

$$

recraft: half: 工廠自動線上輸送帶產出一箱箱相同的盒子，象徵可重現的自動化部署

Databricks Lakehouse 入門

傳統 vs. DAB

$$

傳統 DAB
設定方式 UI 點擊 Git 中的 YAML 檔
可重現性 手動、易錯 自動、一致
環境提升 複製並重設 bundle deploy --target prod
復原 憑記憶重建 git revert + 重新部署
協作 一次一人 完整 Git 工作流程

Databricks Lakehouse 入門

重點整理

$$

  • 手動 UI 部署脆弱且難以擴展
  • Databricks Asset Bundles 以 YAML 描述你的專案
  • 好處：可重現、版控、CI/CD、環境提升
  • 一切皆在 Git：部署的單一可信來源
Databricks Lakehouse 入門

一起來練習吧！

Databricks Lakehouse 入門

Preparing Video For Download...