Lakehouse AI 概览

Databricks 概念

Kevin Barlow

Data Practitioner

Lakehouse AI

Lakehouse 高层架构图

为何在 AI/ML 中选择 Lakehouse？

  1. Delta Lake 中可靠的数据与文件
  2. 高度可扩展的计算
  3. 开放的标准、库与框架
  4. 与其他数据团队统一协作
1 https://www.databricks.com/blog/2020/01/30/what-is-a-data-lakehouse.html
Databricks 概念

MLOps 生命周期

机器学习生命周期图

Databricks 概念

Lakehouse 中的 MLOps

DataOps

DataOps

  • 跨源集成数据（AutoLoader）
  • 将数据转换为可用、干净的格式（Delta Live Tables）
  • 为模型创建有用特征（Feature Store）
Databricks 概念

Lakehouse 中的 MLOps

ModelOps

ModelOps

  • 开发与训练多种模型（Notebooks）
  • 机器学习模板与自动化（AutoML）
  • 跟踪参数、指标与试验（MLFlow）
  • 模型集中管理与消费（Model Registry）
Databricks 概念

Lakehouse 中的 MLOps

DevOps

DevOps

  • 管理模型访问控制（Unity Catalog）
  • 模型版本的持续集成与持续部署（CI/CD）（Model Registry）
  • 部署模型供调用（Serving Endpoints）
Databricks 概念

回顾一下！

Databricks 概念

Preparing Video For Download...