Оцінювання моделей

Прогнозування CTR за допомогою машинного навчання в Python

Kevin Huo

Instructor

Precision і recall

  • Precision: частка кліків від загальної кількості показів, TP / (TP + FP)
    • Вища precision означає вищий ROI від витрат на рекламу
  • Recall: частка отриманих кліків від усіх можливих кліків, TP / (TP + FN)
    • Вищий recall означає краще таргетування релевантної аудиторії
Прогнозування CTR за допомогою машинного навчання в Python

Обчислення precision і recall

print(precision_score(
  y_test, y_pred, average = 'weighted'))

0.73

print(recall_score(
  y_test, y_pred, average = 'weighted'))

0.75
Прогнозування CTR за допомогою машинного навчання в Python

Базові класифікатори

  • Важливо оцінювати класифікатори відносно доречної базової моделі
    • Тут базова модель, з огляду на незбалансованість даних про кліки, завжди прогнозує відсутність кліку
y_pred = np.asarray([0 for x in range(len(X_test))])

[[0]
 [0] ...]
Прогнозування CTR за допомогою машинного навчання в Python

Наслідки для аналізу ROI

  • Для базового класифікатора tp і fp дорівнюватимуть нулю
  • Тоді загальний дохід і витрати будуть нульові, а ROI — невизначений
  • Матриця неточностей через confusion_matrix() разом із ravel() для отримання чотирьох типів результатів
    total_return = tp * r
total_spent = (tp + fp) * cost
roi = total_return / total_spent
Прогнозування CTR за допомогою машинного навчання в Python

Давайте потренуємось!

Прогнозування CTR за допомогою машинного навчання в Python

Preparing Video For Download...