可扩展性

面向生产环境的机器学习模型开发

Sinan Ozdemir

Data Scientist, Entrepreneur, and Author

计算约束与可扩展性

  • CPU、内存与磁盘需求影响模型可扩展性
  • 在训练与推理中监测 CPU、内存与磁盘使用
  • 及早发现可提升模型可扩展性

机房

面向生产环境的机器学习模型开发

模型复杂度与可扩展性

  • 模型复杂度影响可扩展性
  • 在复杂度与可扩展性间取舍具有挑战
  • 平衡策略：
    • 特征选择（如卡方检验、PCA）
    • 模型压缩（如剪枝）

PCA

主成分分析（PCA）

面向生产环境的机器学习模型开发

部署速度与可扩展性

  • 快速部署与迭代对保持相关性与准确性至关重要
  • 策略：
    • 持续集成/部署——下一课将介绍
    • 在线学习——用新数据实时学习

跑者

面向生产环境的机器学习模型开发

最优扩展策略

  • 权衡包括服务成本、再训练成本、部署速度
  • 扩展策略：水平扩展、垂直扩展、自动伸缩
    • 水平扩展：增加机器数量
    • 垂直扩展：提升机器规格
    • 自动伸缩：随负载自动调整机器数

扩展

1 https://www.spiceworks.com/tech/cloud/articles/horizontal-vs-vertical-cloud-scaling
面向生产环境的机器学习模型开发

选择最优扩展策略

  • 水平扩展使用负载均衡与分区

  • 水平扩展权衡：复杂度、成本（$）

  • 垂直扩展是增大机器规格

  • 垂直扩展权衡：成本（$）

理想情况：水平与垂直自动伸缩。

扩展

1 https://www.spiceworks.com/tech/cloud/articles/horizontal-vs-vertical-cloud-scaling
面向生产环境的机器学习模型开发

Passons à la pratique !

面向生产环境的机器学习模型开发

Preparing Video For Download...