データバージョニングの動機

DVCによるデータバージョニング入門

Ravi Bhadauria

Machine Learning Engineer

データバージョニングとは？

• 定義
  • データの変化を時系列で監視
  • 反復ごとのスナップショットを保存
  • コードのバージョン管理に類似
• 利点
  • 取得と精査が容易
  • 一貫性・説明責任・来歴の確保
• 用途
  • データサイエンス／機械学習
  • データエンジニアリング
  • 財務分析、監査、コンプライアンス

データ vs コードのバージョン管理

コードのバージョン管理

• ソフトウェア開発で一般的
• 分散型管理に Git などを使用
• コードは小規模で管理が容易

データのバージョン管理

• 比較的新しい（2012年にSciDBが提案）
• DVC などをGitと併用
• データが大きく管理が難しい

¹ doi: 10.1109/ICDE.2012.102

MLでデータバージョニングが必要な理由

データセットの影響

データセットA

データセットB

データセットの影響

 

ハイパーパラメータは固定、データセットのみ変更

 

指標	データセットA	データセットB
Precision	0.78	0.79
Recall	0.54	0.57
F1 Score	0.64	0.66
Accuracy	0.80	0.81

ハイパーパラメータの影響

 

データセットは固定、ハイパーパラメータを変更

 

指標	n_estimators=5	n_estimators=10
Precision	0.78	0.85
Recall	0.54	0.52
F1 Score	0.64	0.65
Accuracy	0.80	0.81

エディタ演習のレイアウト

練習しましょう！

DVCによるデータバージョニング入門