概念ドリフトへの対処法は？

Machine Learning モニタリングの基礎概念

Hakim Elakhrass

Co-founder and CEO of NannyML

概念ドリフトの検知

  • 誤差ベース手法
    • 誤差の時系列変化を追跡
    • 正解データが必要

 

  • 学習/本番データで新モデルを学習
    • 予測の変化＝概念ドリフト
    • 高度な用途ではコスト高
Machine Learning モニタリングの基礎概念

再学習

画像は2つのグラフを示す。1つ目は時間とともに精度が徐々に低下。2つ目は精度が少し低下後、再学習により精度が上がり、このプロセスが周期的に繰り返される。

長所:

  • 最新のパターンに追随

 

短所:

  • コスト増と失敗リスク
  • 根本原因は分からない
Machine Learning モニタリングの基礎概念

オンライン学習

図はオンライン学習のサイクルを示す。アプリのデータがデータベースへ送られ、即時にモデル更新。更新モデルを再デプロイして継続利用する。

長所:

  • 変化にリアルタイム適応

 

短所:

  • 正解データへ常時アクセスが必要
  • ノイズに敏感
  • パラメータ調整が重要
Machine Learning モニタリングの基礎概念

その他の対処

 

  • 再発イベント向けのイベント別モデル

 

  • 新データの重要度に重み付け
    • 新しいデータをより重視すると適応しやすい

 

タイムライン。11/23に通常モデルをデプロイ、11/24にブラックフライデー用モデルをデプロイ、その後再び通常モデルに戻す。

Machine Learning モニタリングの基礎概念

演習に進みましょう！

Machine Learning モニタリングの基礎概念

Preparing Video For Download...