概念ドリフトとは？

Machine Learning モニタリングの基礎概念

Hakim Elakhrass

Co-founder and CEO of NannyML

定義

  • モデル入力と目的変数の関係が変化する
  • $P(Y|X)$ は変化し、$P(X)$ は不変

本番では収入と年齢の関係が学習時と変化していることを示す図。

Machine Learning モニタリングの基礎概念

なぜドリフトが起こるか

  • 外部要因
    • バイラル流行、政策変更
  • 未モデル化の季節性
    • 需要予測でのブラックフライデーやクリスマスなど

  • データ生成過程の変更

    • 収集アプリの更新

  • ユーザー行動の変化

    • 習慣・パターン・嗜好は常に変化
Machine Learning モニタリングの基礎概念

概念ドリフトの推移

  • 突発型：短期間で新しい概念が出現

 

  • 漸進型：新しい概念が徐々に旧概念に取って代わる

 

  • 再発型：過去の概念が繰り返し現れる

「Covid-19」の文字。

米ドル紙幣の画像。

ブラックフライデーの「50%オフ」ポスター。

Machine Learning モニタリングの基礎概念

共変量シフトが概念ドリフトに与える影響

  • ネガティブ
    • 概念ドリフトの影響が弱まる

 

 

  • ポジティブ
    • 概念ドリフトの影響が強まる

学習と本番での共変量シフトの図。収入が80k/年から100k/年へ。2つ目の図は概念ドリフトを示し、収入とローン延滞確率の関係が変化し、低収入ほど延滞確率が高いことを示す。

学習と本番での共変量シフトの図。収入が80k/年から60k/年へ。2つ目の図は概念ドリフトを示し、収入とローン延滞確率の関係が変化し、低収入ほど延滞確率が高いことを示す。

Machine Learning モニタリングの基礎概念

演習に進みましょう！

Machine Learning モニタリングの基礎概念

Preparing Video For Download...