手動デプロイから自動化デプロイへ

Databricks Lakehouse 入門

Gang Wang

Senior Data Scientist

手動デプロイの問題

$$

  • UI でジョブを1つずつ設定する
  • ノートブックを本番フォルダに手動でコピーする
  • ステージングと本番の設定が乖離する
  • デプロイを最初から再現する方法がない

$$

recraft: half: 付箋や雑多な紙が散乱した机に向かう人物。手動デプロイの混乱を表しています

Databricks Lakehouse 入門

規模が大きくなると問題が顕在化する

$$

  • 典型的なプロジェクトにはジョブ、パイプライン、クラスター、権限、スケジュールがある
  • それぞれを UI で個別に設定する
  • チームメンバーが離脱すると、設定に関する知識も失われる
  • 監査で「先月何が変わったか」と聞かれても、明確な答えがない

$$

recraft: half: 複雑な図や取り消し線のメモ、疑問符が書き込まれたオフィスのホワイトボード。失われた組織知識と設定の混乱を表しています

Databricks Lakehouse 入門

Databricks Asset Bundles とは？

$$

radial: Databricks Asset Bundles

$$

  • プロジェクトフォルダにすべてを格納し、Git でバージョン管理し、CLI コマンド1つでデプロイできる
Databricks Lakehouse 入門

DAB のメリット

$$

  • 再現性 - 毎回同じ設定をデプロイできる
  • バージョン管理 - Git で変更を追跡できる
  • 環境プロモーション - dev → staging → prod へ昇格できる
  • CI/CD 統合 - パイプラインでデプロイを自動化できる

$$

recraft: half: コンベアベルト上で同じ箱が次々と生産される工場の組み立てライン。再現性のある自動デプロイを表しています

Databricks Lakehouse 入門

従来の方法 vs. DAB

$$

従来の方法 DAB
設定 UI 操作 Git 上の YAML ファイル
再現性 手動、エラーが起きやすい 自動化、一貫性がある
環境プロモーション コピーして再設定 bundle deploy --target prod
ロールバック 記憶を頼りに再作成 git revert + 再デプロイ
コラボレーション 1人ずつ対応 Git ワークフローをフル活用

Databricks Lakehouse 入門

まとめ

$$

  • 手動の UI デプロイは不安定でスケールしない
  • Databricks Asset Bundles はプロジェクトを YAML で記述する
  • メリットは再現性、バージョン管理、CI/CD、環境プロモーション
  • すべてが Git で管理され、デプロイの唯一の情報源となる
Databricks Lakehouse 入門

練習しましょう！

Databricks Lakehouse 入門

Preparing Video For Download...