损失函数（上）

用 Python 设计机器学习工作流

Dr. Chris Anagnostopoulos

Honorary Associate Professor

KDD '99 Cup 数据集

kdd.iloc[0]

kdd.iloc[0]
duration                         51
protocol_type                   tcp
service                        smtp
flag                             SF
src_bytes                      1169
dst_bytes                       332
land                              0
...
dst_host_rerror_rate              0
dst_host_srv_rerror_rate          0
label                          good
用 Python 设计机器学习工作流

假阳性 vs 假阴性

将标签二值化：

kdd['label'] = kdd['label'] == 'bad'

拟合高斯朴素贝叶斯分类器：

clf = GaussianNB().fit(X_train, y_train)
predictions = clf.predict(X_test)
results = pd.DataFrame({
    'actual': y_test,
    'predicted': predictions
})

用 Python 设计机器学习工作流

假阳性 vs 假阴性

将标签二值化：

kdd['label'] = kdd['label'] == 'bad'

拟合高斯朴素贝叶斯分类器： 

clf = GaussianNB().fit(X_train, y_train)
predictions = clf.predict(X_test)
results = pd.DataFrame({
    'actual': y_test,
    'predicted': predictions
})

标签与预测共有四种组合：同为 True、同为 False、标签为 True 且预测为 False、标签为 False 且预测为 True。此处高亮最后一种。

用 Python 设计机器学习工作流

假阳性 vs 假阴性

将标签二值化：

kdd['label'] = kdd['label'] == 'bad'

拟合高斯朴素贝叶斯分类器： 

clf = GaussianNB().fit(X_train, y_train)
predictions = clf.predict(X_test)
results = pd.DataFrame({
    'actual': y_test,
    'predicted': predictions
})

此处改为高亮标签为 True 而预测为 False 的组合。

用 Python 设计机器学习工作流

假阳性 vs 假阴性

将标签二值化：

kdd['label'] = kdd['label'] == 'bad'

拟合高斯朴素贝叶斯分类器： 

clf = GaussianNB().fit(X_train, y_train)
predictions = clf.predict(X_test)
results = pd.DataFrame({
    'actual': y_test,
    'predicted': predictions
})

现在高亮显示预测与标签一致的两种情况。

用 Python 设计机器学习工作流

混淆矩阵

conf_mat = confusion_matrix(
    ground_truth, predictions)

array([[9477,   19],
       [ 397, 2458]])

tn, fp, fn, tp = conf_mat.ravel()
(fp, fn)

(19, 397)

该数据集的混淆矩阵，统计前述四种标签与预测组合的样本数。

用 Python 设计机器学习工作流

标量性能指标

accuracy = 1-(fp + fn)/len(ground_truth)

recall = tp/(tp+fn)

fpr = fp/(tn+fp)

precision = tp/(tp+fp)

f1 = 2*(precision*recall)/(precision+recall)

accuracy_score(ground_truth, predictions)
recall_score(ground_truth, predictions)
precision_score(ground_truth, predictions)
f1_score(ground_truth, predictions)
用 Python 设计机器学习工作流

假阳性 vs 假阴性

分类器 A：

tn, fp, fn, tp = confusion_matrix(
    ground_truth, predictions_A).ravel()
(fp,fn)

(3, 3)

cost = 10 * fp + fn

33

分类器 B：

tn, fp, fn, tp = confusion_matrix(
    ground_truth, predictions_B).ravel()
(fp,fn)

(0, 26)


cost = 10 * fp + fn

26
用 Python 设计机器学习工作流

哪个分类器更好？

用 Python 设计机器学习工作流

Preparing Video For Download...