Оценка модели

Прогнозирование CTR с помощью машинного обучения на Python

Kevin Huo

Instructor

Точность и полнота

  • Точность: доля кликов относительно общего числа показов, TP / (TP + FP)
    • Высокая точность означает более высокий ROI расходов на рекламу
  • Полнота: доля полученных кликов от всех возможных, TP / (TP + FN)
    • Высокая полнота означает лучший охват целевой аудитории
Прогнозирование CTR с помощью машинного обучения на Python

Вычисление точности и полноты

print(precision_score(
  y_test, y_pred, average = 'weighted'))

0.73

print(recall_score(
  y_test, y_pred, average = 'weighted'))

0.75
Прогнозирование CTR с помощью машинного обучения на Python

Базовые классификаторы

  • Важно оценивать классификаторы относительно подходящего базового уровня
    • Здесь базовый классификатор — из-за несбалансированности данных о кликах — всегда предсказывает отсутствие клика
y_pred = np.asarray([0 for x in range(len(X_test))])

[[0]
 [0] ...]
Прогнозирование CTR с помощью машинного обучения на Python

Влияние на анализ ROI

  • У базового классификатора tp и fp равны нулю
  • Следовательно, общий доход и общие расходы равны нулю, а ROI не определён
  • Матрица ошибок вычисляется через confusion_matrix() и ravel() для получения четырёх категорий результатов
    total_return = tp * r
total_spent = (tp + fp) * cost
roi = total_return / total_spent
Прогнозирование CTR с помощью машинного обучения на Python

Давайте потренируемся!

Прогнозирование CTR с помощью машинного обучения на Python

Preparing Video For Download...