数据剖析、版本管理与特征库

MLOps 部署与生命周期管理

Nemanja Radojkovic

Senior Machine Learning Engineer

数据剖析

 

 

自动分析数据并生成高层摘要(又称数据剖析、期望),用于生产环境中的数据校验与监控

剖析的用途 1

MLOps 部署与生命周期管理

剖析的用途 1

MLOps 部署与生命周期管理

剖析的用途 2

MLOps 部署与生命周期管理

剖析的用途 3

MLOps 部署与生命周期管理

不做数据剖析的风险

  • 客户抱怨,尽管是他们向模型提交了错误输入
  • 无法识别数据漂移,模型已失效
MLOps 部署与生命周期管理

清单:剖析

MLOps 部署与生命周期管理

great expectations

MLOps 部署与生命周期管理

清单:版本管理

MLOps 部署与生命周期管理

版本箭头

MLOps 部署与生命周期管理

确保可复现

MLOps 部署与生命周期管理

不是复制

MLOps 部署与生命周期管理

数据原地不动

MLOps 部署与生命周期管理

只是一个指针

MLOps 部署与生命周期管理

版本化训练/测试

MLOps 部署与生命周期管理

 

dvc logo

 

 

 

  • Data
  • Version
  • Control
MLOps 部署与生命周期管理

特征库

MLOps 部署与生命周期管理

本质是数据库

MLOps 部署与生命周期管理

跨项目复用

MLOps 部署与生命周期管理

双数据库

MLOps 部署与生命周期管理

高吞吐数据库

MLOps 部署与生命周期管理

单行数据库

MLOps 部署与生命周期管理

可复用性

MLOps 部署与生命周期管理

训练-服务偏差

MLOps 部署与生命周期管理

邮件

MLOps 部署与生命周期管理

Passons à la pratique !

MLOps 部署与生命周期管理

Preparing Video For Download...