Lakehouse AI の概要

Databricks の基本概念

Kevin Barlow

Data Practitioner

Lakehouse AI

レイクハウスのハイレベル図

なぜ AI/ML にレイクハウスか？

  1. Delta レイク上の信頼できるデータとファイル
  2. 高いスケーラビリティの計算基盤
  3. オープンな規格・ライブラリ・フレームワーク
  4. 他のデータチームとの統合
1 https://www.databricks.com/blog/2020/01/30/what-is-a-data-lakehouse.html
Databricks の基本概念

MLOps ライフサイクル

機械学習ライフサイクル図

Databricks の基本概念

Lakehouse における MLOps

DataOps

DataOps

  • 複数ソースからのデータ統合（AutoLoader）
  • 使えるクリーンな形式へ変換（Delta Live Tables）
  • モデル用の特徴量を作成（Feature Store）
Databricks の基本概念

Lakehouse における MLOps

ModelOps

ModelOps

  • 複数のモデルを開発・学習（Notebooks）
  • 機械学習のテンプレートと自動化（AutoML）
  • パラメータ・指標・試行を追跡（MLFlow）
  • モデルを集約・提供（Model Registry）
Databricks の基本概念

Lakehouse における MLOps

DevOps

DevOps

  • 各モデルへのアクセスをガバナンス（Unity Catalog）
  • モデル版の CI/CD（Model Registry）
  • 消費向けにモデルをデプロイ（Serving Endpoints）
Databricks の基本概念

振り返りましょう

Databricks の基本概念

Preparing Video For Download...