Aplicações da avaliação por métricas

Prevendo CTR com Machine Learning em Python

Kevin Huo

Instructor

Quatro categorias de resultados

Exemplo de quatro categorias de resultados em classificação

  • A primeira parte (verdadeiro/falso) indica se o modelo acertou ou errou
  • A segunda parte (positivo/negativo) indica o rótulo aplicado pelo modelo
Prevendo CTR com Machine Learning em Python

Interpretações das quatro categorias

  • Se o modelo prevê clique, há lance para a impressão, o que custa dinheiro
  • Se não prevê clique, não há lance nem custo
  • Verdadeiros positivos (TP): dinheiro ganho (impressões pagas que tiveram clique).
  • Falsos positivos (FP): dinheiro perdido (impressões pagas sem clique).
  • Verdadeiros negativos (TN): dinheiro economizado (sem clique previsto, nenhuma impressão comprada).
  • Falsos negativos (FN): oportunidade perdida (sem clique previsto, mas haveria clique real).
Prevendo CTR com Machine Learning em Python

Matriz de confusão

print(confusion_matrix(y_test, y_pred))

[[8163  166]
 [1517  154]]

# Order: tn, fp, fn, tp
print(confusion_matrix(y_test, y_pred).ravel())

[8163, 166, 1517, 154]
Prevendo CTR com Machine Learning em Python

Análise de ROI

  • Suponha: algum custo c e retorno r por X impressões
total_return = tp * r

total_cost = (tp + fp) * c

tp * r > (tp + fp) * c

roi = total_return / total_spent
Prevendo CTR com Machine Learning em Python

Vamos praticar!

Prevendo CTR com Machine Learning em Python

Preparing Video For Download...