Förlustfunktioner del I

Att designa maskininlärningsflöden i Python

Dr. Chris Anagnostopoulos

Honorary Associate Professor

Datamängden KDD '99 cup

kdd.iloc[0]

kdd.iloc[0]
duration                         51
protocol_type                   tcp
service                        smtp
flag                             SF
src_bytes                      1169
dst_bytes                       332
land                              0
...
dst_host_rerror_rate              0
dst_host_srv_rerror_rate          0
label                          good

Falska positiva mot falska negativa

Binarisera etikett:

kdd['label'] = kdd['label'] == 'bad'

Anpassa en Gaussian Naive Bayes-klassificerare:

clf = GaussianNB().fit(X_train, y_train)
predictions = clf.predict(X_test)
results = pd.DataFrame({
    'actual': y_test,
    'predicted': predictions
})

Falska positiva mot falska negativa

Binarisera etikett:

kdd['label'] = kdd['label'] == 'bad'

Anpassa en Gaussian Naive Bayes-klassificerare:

clf = GaussianNB().fit(X_train, y_train)
predictions = clf.predict(X_test)
results = pd.DataFrame({
    'actual': y_test,
    'predicted': predictions
})

Det finns fyra möjliga kombinationer av etiketter och prediktioner: båda sanna, båda falska, en sann etikett med en falsk prediktion, och en falsk etikett med en sann prediktion. Den sistnämnda kombinationen är markerad här.

Falska positiva mot falska negativa

Binarisera etikett:

kdd['label'] = kdd['label'] == 'bad'

Anpassa en Gaussian Naive Bayes-klassificerare:

clf = GaussianNB().fit(X_train, y_train)
predictions = clf.predict(X_test)
results = pd.DataFrame({
    'actual': y_test,
    'predicted': predictions
})

Nu är i stället kombinationen av en sann etikett och en falsk prediktion markerad.

Falska positiva mot falska negativa

Binarisera etikett:

kdd['label'] = kdd['label'] == 'bad'

Anpassa en Gaussian Naive Bayes-klassificerare:

clf = GaussianNB().fit(X_train, y_train)
predictions = clf.predict(X_test)
results = pd.DataFrame({
    'actual': y_test,
    'predicted': predictions
})

De två fall där prediktionen stämmer överens med etiketterna är nu markerade.

Konfusionsmatrisen

conf_mat = confusion_matrix(
    ground_truth, predictions)

array([[9477,   19],
       [ 397, 2458]])

tn, fp, fn, tp = conf_mat.ravel()
(fp, fn)

(19, 397)

En konfusionsmatris som räknar antalet fall för var och en av de fyra kombinationerna för den här datamängden.

Skalära prestandamått

accuracy = 1-(fp + fn)/len(ground_truth)

recall = tp/(tp+fn)

fpr = fp/(tn+fp)

precision = tp/(tp+fp)

f1 = 2*(precision*recall)/(precision+recall)

accuracy_score(ground_truth, predictions)
recall_score(ground_truth, predictions)
precision_score(ground_truth, predictions)
f1_score(ground_truth, predictions)

Falska positiva mot falska negativa

Klassificerare A:

tn, fp, fn, tp = confusion_matrix(
    ground_truth, predictions_A).ravel()
(fp,fn)

(3, 3)

cost = 10 * fp + fn

Klassificerare B:

tn, fp, fn, tp = confusion_matrix(
    ground_truth, predictions_B).ravel()
(fp,fn)

(0, 26)

cost = 10 * fp + fn

Vilken klassificerare är bättre?

Att designa maskininlärningsflöden i Python