損失関数 パート II

Python で設計する Machine Learning ワークフロー

Dr. Chris Anagnostopoulos

Honorary Associate Professor

確率スコア

clf = GaussianNB().fit(X_train, y_train)

scores = clf.predict_proba(X_test)

array([[3.74717371e-07, 9.99999625e-01],
       [9.99943716e-01, 5.62841678e-05],
       ...,
       [9.99937502e-01, 6.24977552e-05]])

[s[1] > 0.5 for s in scores] == clf.predict(X_test)
Python で設計する Machine Learning ワークフロー

確率スコア

しきい値 偽陽性 偽陰性
0.0 178 0
0.25 66 17
0.5 35 37
0.75 13 57
1.0 0 72
Python で設計する Machine Learning ワークフロー

ROC曲線

FPR対TPRのプロット。左上と上辺に近づく曲線と、対角線が表示されています。

fpr, tpr, thres = roc_curve(
    ground_truth, 
    [s[1] for s in scores])
plt.plot(fpr, tpr)
plt.xlabel('False Positive Rate')
plt.ylabel('True Positive Rate')
Python で設計する Machine Learning ワークフロー

同様に、FPR対TPRのプロット。左上と上辺に近づく曲線と、対角線が表示されています。

Python で設計する Machine Learning ワークフロー

ここではGaussianNBの曲線が追加され、全FPR範囲でAdaBoostより下にあります。

Python で設計する Machine Learning ワークフロー

さらにランダムフォレストの曲線を追加。小さなFPRではGaussianNBより下、大きなFPRでは上になります。

Python で設計する Machine Learning ワークフロー

AUC

clf = AdaBoostClassifier().fit(X_train, y_train)
scores_ab = clf.predict_proba(X_test)
roc_auc_score(ground_truth, [s[1] for s in scores_ab])

0.9999
Python で設計する Machine Learning ワークフロー

コスト最小化

def my_scorer(y_test, y_est, cost_fp=10.0, cost_fn=1.0):
    tn, fp, fn, tp = confusion_matrix(y_test, y_est).ravel()
    return cost_fp*fp + cost_fn*fn

t_range = [0.0, 0.25, 0.5, 0.75, 1.0]
costs = [
   my_scorer(y_test, [s[1] > thres for s in scores]) for thres in t_range
]

[94740.0, 626.0, 587.0, 507.0, 2855.0]
Python で設計する Machine Learning ワークフロー

ユースケースごとに最適解は異なる

Python で設計する Machine Learning ワークフロー

Preparing Video For Download...