Застосування метрик оцінювання

Прогнозування CTR за допомогою машинного навчання в Python

Kevin Huo

Instructor

Чотири категорії результатів

Приклад чотирьох категорій результатів у класифікації

  • Перша частина категорії (true/false) показує, чи модель була правильною
  • Друга частина (positive/negative) показує мітку цілі, яку призначила модель
Прогнозування CTR за допомогою машинного навчання в Python

Тлумачення чотирьох категорій

  • Якщо модель передбачає клік, тоді є ставка за цей показ, що коштує грошей
  • Якщо кліку не передбачено — ставки немає, тож і витрат немає
  • True positives (TP): заробіток (оплачені покази, які клікнули).
  • False positives (FP): втрати (оплачені покази без кліку).
  • True negatives (TN): зекономлені кошти (клік не передбачено — покази не купували).
  • False negatives (FN): втрачені можливості (клік не передбачено, але насправді він би стався).
Прогнозування CTR за допомогою машинного навчання в Python

Матриця неточностей

print(confusion_matrix(y_test, y_pred))

[[8163  166]
 [1517  154]]

# Order: tn, fp, fn, tp
print(confusion_matrix(y_test, y_pred).ravel())

[8163, 166, 1517, 154]
Прогнозування CTR за допомогою машинного навчання в Python

Аналіз ROI

  • Припустімо: певна вартість c і дохід r на X показів
total_return = tp * r

total_cost = (tp + fp) * c

tp * r > (tp + fp) * c

roi = total_return / total_spent
Прогнозування CTR за допомогою машинного навчання в Python

Давайте потренуємось!

Прогнозування CTR за допомогою машинного навчання в Python

Preparing Video For Download...