Avaliação de desempenho

Introdução ao aprendizado de máquina

Hadrien Lacroix

Content Developer at DataCamp

Etapa de avaliação

Tem ótimo desempenho em dados de treinamento
Tem baixo desempenho em dados de teste
O modelo memorizou os dados de treinamento e não generaliza o aprendizado para novos dados
Usa conjunto de testes para verificar o desempenho do modelo

ajuste excessivo

Precisão = observações classificadas corretamente / todas as observações
48 / 50 = 96%

classificador linear da primeira lição

Precisão desse modelo:

$$\frac{28\ corretamente\ classificado}{30\ total\ pontos}=93,33%$$

matriz de confusão

Quantas transações fraudulentas foram classificadas corretamente?

$$Sensitivity = \frac{true\ positives}{true\ positives + false\ negatives} =1/3=33.33\% $$

É melhor marcar transações legítimas como suspeitas do que autorizar transações fraudulentas

$$Specificity = \frac{true\ negatives}{true\ negatives + false\ positives}$$

Filtro de spam:

É melhor enviar spam para a caixa de entrada do que enviar e-mails reais para o spam

Erro = distância entre o ponto (valor real) e a linha (valor previsto)
Você pode calcular isso de várias maneiras, por exemplo, com a raiz do erro quadrático médio

¹ https://www.flickr.com/photos/micahdowty/8540188997

Introdução ao aprendizado de máquina