Aplicaciones de la evaluación de métricas

Predicción del CTR con Machine Learning en Python

Kevin Huo

Instructor

Cuatro categorías de resultados

Ejemplo de cuatro categorías de resultados en clasificación

  • La primera parte (verdadero/falso) indica si el modelo acertó o no
  • La segunda parte (positivo/negativo) indica la etiqueta objetivo asignada por el modelo
Predicción del CTR con Machine Learning en Python

Interpretación de las cuatro categorías

  • Si el modelo predice clic, se puja por esa impresión y hay coste
  • Si no predice clic, no hay puja ni coste
  • Verdaderos positivos (TP): dinero ganado (impresiones pagadas que recibieron clic).
  • Falsos positivos (FP): dinero perdido (impresiones pagadas sin clic).
  • Verdaderos negativos (TN): dinero ahorrado (sin clic predicho, no se compran impresiones).
  • Falsos negativos (FN): oportunidad perdida (no se predijo clic, pero en realidad sí lo hubo).
Predicción del CTR con Machine Learning en Python

Matriz de confusión

print(confusion_matrix(y_test, y_pred))

[[8163  166]
 [1517  154]]

# Orden: tn, fp, fn, tp
print(confusion_matrix(y_test, y_pred).ravel())

[8163, 166, 1517, 154]
Predicción del CTR con Machine Learning en Python

Análisis de ROI

  • Supón: un coste c y un retorno r por X impresiones
total_return = tp * r

total_cost = (tp + fp) * c

tp * r > (tp + fp) * c

roi = total_return / total_spent
Predicción del CTR con Machine Learning en Python

¡Vamos a practicar!

Predicción del CTR con Machine Learning en Python

Preparing Video For Download...