Metrik model lainnya

Analitik Pemasaran: Memprediksi Churn Pelanggan di Python

Mark Peterson

Director of Data Science, Infoblox

Ambang probabilitas

  • Setiap prediksi dari pengklasifikator memiliki probabilitas terkait
  • Ambang probabilitas bawaan di scikit-learn: 50%

 

  • Bagaimana jika kita mengubah ambang ini?
Analitik Pemasaran: Memprediksi Churn Pelanggan di Python

Kurva ROC bagian 1

Analitik Pemasaran: Memprediksi Churn Pelanggan di Python

Kurva ROC bagian 2

Analitik Pemasaran: Memprediksi Churn Pelanggan di Python

Kurva ROC bagian 3

Analitik Pemasaran: Memprediksi Churn Pelanggan di Python

Kurva ROC bagian 4

Analitik Pemasaran: Memprediksi Churn Pelanggan di Python

Kurva ROC bagian 5

Analitik Pemasaran: Memprediksi Churn Pelanggan di Python

Kurva ROC bagian 6

Analitik Pemasaran: Memprediksi Churn Pelanggan di Python

Kurva ROC bagian 7

Analitik Pemasaran: Memprediksi Churn Pelanggan di Python

Kurva ROC bagian 8

Analitik Pemasaran: Memprediksi Churn Pelanggan di Python

Menghasilkan probabilitas di sklearn

logreg.predict_proba(X_test)[:,1]

array([[0.80188981, 0.19811019],
       [0.96484075, 0.03515925],
       [0.9182671 , 0.0817329 ],
       ...,

y_pred_prob = logreg.predict_proba(X_test)[:,1]
Analitik Pemasaran: Memprediksi Churn Pelanggan di Python

Kurva ROC di sklearn

from sklearn.metrics import roc_curve

fpr, tpr, thresholds = roc_curve(y_test, y_pred_prob)

import matplotlib.pyplot as plt

plt.plot(fpr, tpr)

plt.xlabel("False Positive Rate")

plt.ylabel("True Positive Rate")

plt.plot([0, 1], [0, 1], "k--")

plt.show()
Analitik Pemasaran: Memprediksi Churn Pelanggan di Python

Luas di bawah kurva

from sklearn.metrics import roc_auc_score

auc = roc_auc_score(y_test, y_pred)
Analitik Pemasaran: Memprediksi Churn Pelanggan di Python

Ayo berlatih!

Analitik Pemasaran: Memprediksi Churn Pelanggan di Python

Preparing Video For Download...