プロファイリング、バージョニング、特徴量ストア

MLOpsのデプロイとライフサイクル

Nemanja Radojkovic

Senior Machine Learning Engineer

データプロファイリング

 

 

データの自動分析と要約(データプロファイル、エクスペクテーション)。本番でのデータ検証・監視に利用

参照の目的 1

MLOpsのデプロイとライフサイクル

参照の目的 1

MLOpsのデプロイとライフサイクル

参照の目的 2

MLOpsのデプロイとライフサイクル

参照の目的 3

MLOpsのデプロイとライフサイクル

データプロファイルを使わないリスク

  • クライアントが誤入力をしたのに苦情が来る
  • データドリフトを検知できず、モデルが無効化
MLOpsのデプロイとライフサイクル

チェックリスト プロファイル

MLOpsのデプロイとライフサイクル

great expectations

MLOpsのデプロイとライフサイクル

チェックリスト バージョニング

MLOpsのデプロイとライフサイクル

バージョニング矢印

MLOpsのデプロイとライフサイクル

再現性の確保

MLOpsのデプロイとライフサイクル

コピーしない

MLOpsのデプロイとライフサイクル

データはそのまま

MLOpsのデプロイとライフサイクル

ポインタのみ

MLOpsのデプロイとライフサイクル

バージョン化 train/test

MLOpsのデプロイとライフサイクル

 

dvc ロゴ

 

 

 

  • Data
  • Version
  • Control
MLOpsのデプロイとライフサイクル

特徴量ストア

MLOpsのデプロイとライフサイクル

FS は DB

MLOpsのデプロイとライフサイクル

プロジェクト横断の再利用

MLOpsのデプロイとライフサイクル

二層DB

MLOpsのデプロイとライフサイクル

高トラフィックDB

MLOpsのデプロイとライフサイクル

単一レコードDB

MLOpsのデプロイとライフサイクル

再利用性

MLOpsのデプロイとライフサイクル

学習・提供のずれ

MLOpsのデプロイとライフサイクル

メール

MLOpsのデプロイとライフサイクル

Passons à la pratique !

MLOpsのデプロイとライフサイクル

Preparing Video For Download...