从手动到自动化部署

Databricks Lakehouse 入门

Gang Wang

Senior Data Scientist

手动部署的问题

$$

  • 通过 UI 逐个配置作业
  • 将笔记本手动复制到生产文件夹
  • 预发布与生产之间设置会发生漂移
  • 无法从零复现一次部署

$$

recraft: half: 一个人坐在被便利贴和各类纸张堆满的杂乱书桌前，象征手动部署流程的混乱

Databricks Lakehouse 入门

为何在规模化时更要紧

$$

  • 典型项目包含 作业、流水线、集群、权限、调度
  • 各项都需在 UI 中分别配置
  • 成员离职——配置知识也随之流失
  • 审计问"上个月改了什么？"——难以给出明确答案

$$

recraft: half: 办公室白板上布满缠绕的图示、被划掉的笔记和问号，象征组织知识流失与配置混乱

Databricks Lakehouse 入门

什么是 Databricks Asset Bundles？

$$

radial: Databricks Asset Bundles

$$

  • 一切放在项目文件夹中，用 Git 版本管理，使用单条 CLI 命令部署
Databricks Lakehouse 入门

DAB 的优势

$$

  • 可复现——每次部署相同配置
  • 受版本控制——变更由 Git 追踪
  • 环境推进——dev → staging → prod
  • CI/CD 集成——在流水线中自动部署

$$

recraft: half: 工厂装配线在传送带上连续产出相同的盒子，代表可复现的自动化部署

Databricks Lakehouse 入门

传统方式 vs. DAB

$$

传统方式 DAB
配置 UI 点击 Git 中的 YAML 文件
可复现性 手动，易出错 自动化，一致
环境推进 复制并重新配置 bundle deploy --target prod
回滚 凭记忆重建 git revert + 重新部署
协作 一次一人 完整 Git 工作流

Databricks Lakehouse 入门

小结

$$

  • 手动 UI 部署脆弱且难以扩展
  • Databricks Asset Bundles 用 YAML 描述您的项目
  • 益处：可复现、版本控制、CI/CD、环境推进
  • 一切皆在 Git 中——部署的单一可信来源
Databricks Lakehouse 入门

让我们一起练习吧！

Databricks Lakehouse 入门

Preparing Video For Download...