Оценка качества логистической регрессии

Введение в регрессию с statsmodels на Python

Maarten Van den Broeck

Content Developer at DataCamp

Четыре возможных исхода

	предсказано: false	предсказано: true
фактически false	верно	ложноположительный
фактически true	ложноотрицательный	верно

Матрица ошибок: количество исходов

actual_response = churn["has_churned"]

predicted_response = np.round(mdl_recency.predict())

outcomes = pd.DataFrame({"actual_response": actual_response,
                         "predicted_response": predicted_response})

print(outcomes.value_counts(sort=False))

actual_response  predicted_response
0                0.0                   141
                 1.0                    59
1                0.0                   111
                 1.0                    89

Визуализация матрицы ошибок

conf_matrix = mdl_recency.pred_table()

print(conf_matrix)

[[141.              59.]
 [111.              89.]]

истинноотрицательный	ложноположительный
ложноотрицательный	истинноположительный

from statsmodels.graphics.mosaicplot
import mosaic

mosaic(conf_matrix)

Мозаичный график исходов модели оттока клиентов относительно давности. По 200 наблюдений для каждого класса, поэтому столбцы одинаковой ширины.

Точность (accuracy)

Точность — доля правильных предсказаний.

$$ \text{accuracy} = \frac{TN + TP}{TN + FN + FP + TP} $$

 [[141.,  59.],
  [111.,  89.]]

TN = conf_matrix[0,0]
TP = conf_matrix[1,1]
FN = conf_matrix[1,0]
FP = conf_matrix[0,1]

acc = (TN + TP) / (TN + TP + FN + FP)
print(acc)

0.575

Чувствительность (sensitivity)

Чувствительность — доля истинноположительных результатов.

$$ \text{sensitivity} = \frac{TP}{FN + TP} $$

 [[141.,  59.],
  [111.,  89.]]

TN = conf_matrix[0,0]
TP = conf_matrix[1,1]
FN = conf_matrix[1,0]
FP = conf_matrix[0,1]

sens = TP / (FN + TP)
print(sens)

0.445

Специфичность (specificity)

Специфичность — доля истинноотрицательных результатов.

$$ \text{specificity} = \frac{TN}{TN + FP} $$

 [[141.,  59.],
  [111.,  89.]]

TN = conf_matrix[0,0]
TP = conf_matrix[1,1]
FN = conf_matrix[1,0]
FP = conf_matrix[0,1]

spec = TN / (TN + FP)
print(spec)

0.705

Давайте потренируемся!

Введение в регрессию с statsmodels на Python