ラベルがある場合

Pythonで学ぶ機械学習のモニタリング

Maciej Balawejder

Data Scientist

推定 vs 実測のパフォーマンス

推定パフォーマンス:

モデルの期待性能を測る
CBPE や DLE などの推定器で算出
正解ラベルがないときに推定

実測パフォーマンス:

実際に測定した性能を表す
パフォーマンス計算機で算出
正解ラベルがあるときに計算

遅延する正解ラベル

時間軸に各週の3点があり、毎週月曜にモデルの実測性能を評価し、月曜間は CBPE 推定器で性能を推定することを示す図。

パフォーマンス計算機

# Intialize the calculator
calc = nannyml.PerformanceCalculator(
    y_pred_proba='y_pred_proba',
    y_pred='y_pred',
    y_true='arrived',
    timestamp_column_name='timestamp',
    problem_type='classification_binary',
    chunk_period='d',
    metrics=['roc_auc', 'accuracy'],
    )

# Fit the calculator
calc.fit(reference)
realized_results = calc.calculate(analysis)

結果をプロット

# Show realized performance plot
results.plot().show()

実測 ROC AUC のグラフ。2019年4月から8月に性能低下が見られる。

実測と推定のパフォーマンス

# Estimate and calculate results
estimated_results = estimator.estimate(analysis)
realized_results = calculator.calculate(analysis)


# Show comparison plot
realized_results.compare(estimated_results).plot().show()

実測と推定のパフォーマンス

ROC AUC 指標における実測と推定のパフォーマンスを比較したプロット。

¡Vamos a practicar!

Pythonで学ぶ機械学習のモニタリング