多変量ドリフト検知

Pythonで学ぶ機械学習のモニタリング

Hakim Elakhrass

CEO and co-founder

多変量ドリフト検知とは?

  • 根本原因分析の第一歩
  • 結果は全特徴量に対する単一の数値
  • 微妙なデータ変化を検知

モニタリングのワークフローと多変量ドリフト検知の位置。

Pythonで学ぶ機械学習のモニタリング

仕組み

  1. PCAでデータを圧縮
  2. 逆PCAで元の形に復元
  3. 再構成誤差を測定。増加はドリフトを示唆

多変量ドリフト検知の仕組み。

Pythonで学ぶ機械学習のモニタリング

コード実装

# Initialize multivariate drift detection calculator
mv_calc = nannyml.DataReconstructionDriftCalculator(
    column_names=features_column_names,
    timestamp_column_name='timestamp',
    chunk_period='m'
    )
# Fit and calculate the results
mv_calc.fit(reference)
mv_results = mv_calc.calculate(analysis)
Pythonで学ぶ機械学習のモニタリング

結果のプロット

mv_figure = mv_results.filter(period='analysis').plot()
mv_figure.show()

時間経過に伴う再構成誤差のグラフ。

Pythonで学ぶ機械学習のモニタリング

多変量ドリフト vs. 実績パフォーマンス

figure = mv_results.filter(period='analysis').compare(perf_results).plot()
figure.show()

実績パフォーマンスと再構成誤差の比較グラフ。

Pythonで学ぶ機械学習のモニタリング

¡Vamos a practicar!

Pythonで学ぶ機械学習のモニタリング

Preparing Video For Download...