Evaluación del modelo

Predicción del CTR con Machine Learning en Python

Kevin Huo

Instructor

Precisión y recall

  • Precisión: proporción de clics sobre el total de impresiones, TP / (TP + FP)
    • Mayor precisión = mayor ROI del gasto en anuncios
  • Recall: proporción de clics captados sobre todos los clics posibles, TP / (TP + FN)
    • Mayor recall = mejor segmentación de la audiencia relevante
Predicción del CTR con Machine Learning en Python

Cálculo de precisión y recall

print(precision_score(
  y_test, y_pred, average = 'weighted'))

0.73

print(recall_score(
  y_test, y_pred, average = 'weighted'))

0.75
Predicción del CTR con Machine Learning en Python

Clasificadores base

  • Es importante evaluar los clasificadores frente a una base adecuada
    • Aquí, por el desbalance de los clics, la base es un clasificador que siempre predice sin clic
y_pred = np.asarray([0 for x in range(len(X_test))])

[[0]
 [0] ...]
Predicción del CTR con Machine Learning en Python

Implicaciones para el análisis de ROI

  • En el clasificador base, tp y fp serán cero
  • Entonces el retorno total y el gasto total serán cero, y el ROI no estará definido
  • Matriz de confusión con confusion_matrix() y ravel() para obtener las cuatro categorías de resultados
    total_return = tp * r
total_spent = (tp + fp) * cost
roi = total_return / total_spent
Predicción del CTR con Machine Learning en Python

¡Vamos a practicar!

Predicción del CTR con Machine Learning en Python

Preparing Video For Download...