Avaliação de modelos

Prevendo CTR com Machine Learning em Python

Kevin Huo

Instructor

Precisão e revocação

  • Precisão: proporção de cliques em relação ao total de impressões, TP / (TP + FP)
    • Maior precisão = maior ROI no gasto com anúncios
  • Revocação: proporção de cliques obtidos dentre todos os cliques possíveis, TP / (TP + FN)
    • Maior revocação = melhor alcance do público relevante
Prevendo CTR com Machine Learning em Python

Calculando precisão e revocação

print(precision_score(
  y_test, y_pred, average = 'weighted'))

0.73

print(recall_score(
  y_test, y_pred, average = 'weighted'))

0.75
Prevendo CTR com Machine Learning em Python

Classificadores baseline

  • É importante avaliar classificadores contra uma baseline adequada
    • Aqui, pela natureza desbalanceada dos dados de clique, a baseline é um classificador que sempre prevê sem clique
y_pred = np.asarray([0 for x in range(len(X_test))])

[[0]
 [0] ...]
Prevendo CTR com Machine Learning em Python

Impactos na análise de ROI

  • Para o classificador baseline, tp e fp serão zero
  • Assim, retorno total e gasto total serão zero, e o ROI fica indefinido
  • Matriz de confusão via confusion_matrix() com ravel() para obter as quatro categorias
    total_return = tp * r
total_spent = (tp + fp) * cost
roi = total_return / total_spent
Prevendo CTR com Machine Learning em Python

Vamos praticar!

Prevendo CTR com Machine Learning em Python

Preparing Video For Download...