Применение метрик оценки

Прогнозирование CTR с помощью машинного обучения на Python

Kevin Huo

Instructor

Четыре категории исходов

Пример четырёх категорий исходов в классификации

  • Первая часть категории (true/false) показывает, верен ли прогноз модели
  • Вторая часть категории (positive/negative) — метка, которую модель присвоила
Прогнозирование CTR с помощью машинного обучения на Python

Интерпретация четырёх категорий

  • Если модель предсказывает клик, то размещается ставка на показ — это стоит денег
  • Если клик не предсказан, ставки нет и затрат нет
  • True positives (TP): прибыль (оплаченные показы, по которым был клик).
  • False positives (FP): убыток (оплаченные показы без кликов).
  • True negatives (TN): экономия (клик не предсказан — показ не куплен).
  • False negatives (FN): упущенная выгода (клик не предсказан, но реально состоялся бы).
Прогнозирование CTR с помощью машинного обучения на Python

Матрица ошибок

print(confusion_matrix(y_test, y_pred))

[[8163  166]
 [1517  154]]

# Order: tn, fp, fn, tp
print(confusion_matrix(y_test, y_pred).ravel())

[8163, 166, 1517, 154]
Прогнозирование CTR с помощью машинного обучения на Python

Анализ ROI

  • Допустим: стоимость c и доход r на X показов
total_return = tp * r

total_cost = (tp + fp) * c

tp * r > (tp + fp) * c

roi = total_return / total_spent
Прогнозирование CTR с помощью машинного обучения на Python

Давайте потренируемся!

Прогнозирование CTR с помощью машинного обучения на Python

Preparing Video For Download...