数据版本控制的动机

DVC 数据版本管理入门

Ravi Bhadauria

Machine Learning Engineer

什么是数据版本控制？

• 定义
  • 监控随时间的数据变化
  • 按迭代对数据拍快照
  • 类似代码版本控制
• 益处
  • 便于检索与审查
  • 保持一致性、可追责与血缘关系
• 应用
  • 数据科学与机器学习
  • 数据工程
  • 财务分析、审计与合规

数据 vs 代码版本控制

代码版本控制

• 在软件开发中广为人知
• 使用 Git 等工具进行去中心化版本控制
• 代码体量小，管理更容易

数据版本控制

• 相对较新（2012 年提出 SciDB）
• 与 Git 配合使用 DVC 等工具链
• 数据集大，管理相对更难

¹ doi: 10.1109/ICDE.2012.102

为何在 ML 中进行数据版本控制？

数据集的影响

数据集 A

数据集 B

数据集的影响

 

超参数不变，更换数据集

 

指标	数据集 A	数据集 B
精确率	0.78	0.79
召回率	0.54	0.57
F1 分数	0.64	0.66
准确率	0.80	0.81

超参数的影响

 

数据集不变，更改超参数

 

指标	n_estimators=5	n_estimators=10
精确率	0.78	0.85
召回率	0.54	0.52
F1 分数	0.64	0.65
准确率	0.80	0.81

编辑器练习布局

Passons à la pratique !

DVC 数据版本管理入门