Lakehouse AI 概觀

Databricks 概念

Kevin Barlow

Data Practitioner

Lakehouse AI

Lakehouse 高層架構圖

為什麼用 Lakehouse 做 AI／ML？

  1. Delta Lake 中可靠的資料與檔案
  2. 高度可擴充的運算
  3. 開放標準、函式庫、框架
  4. 與其他資料團隊統合
1 https://www.databricks.com/blog/2020/01/30/what-is-a-data-lakehouse.html
Databricks 概念

MLOps 生命週期

機器學習生命週期圖

Databricks 概念

Lakehouse 中的 MLOps

DataOps

DataOps

  • 整合多來源資料（AutoLoader）
  • 轉換為可用且乾淨的格式（Delta Live Tables）
  • 為模型建立實用特徵（Feature Store）
Databricks 概念

Lakehouse 中的 MLOps

ModelOps

ModelOps

  • 開發並訓練各種模型（Notebooks）
  • 機器學習樣板與自動化（AutoML）
  • 追蹤參數、指標與實驗（MLFlow）
  • 集中管理與使用模型（Model Registry）
Databricks 概念

Lakehouse 中的 MLOps

DevOps

DevOps

  • 管控各模型的存取（Unity Catalog）
  • 針對模型版本進行 CI/CD（Model Registry）
  • 佈署模型供取用（Serving Endpoints）
Databricks 概念

複習一下！

Databricks 概念

Preparing Video For Download...