Avaliação de desempenho

Entendendo Machine Learning

Hadrien Lacroix

Content Developer at DataCamp

Etapa de avaliação

Tem ótimo desempenho em dados de treinamento
Tem baixo desempenho em dados de teste
O modelo memorizou os dados de treinamento e não generaliza o aprendizado para novos dados
Usa conjunto de testes para verificar o desempenho do modelo

ajuste excessivo

Precisão = observações classificadas corretamente / todas as observações
48 / 50 = 96%

classificador linear da primeira lição

Precisão desse modelo:

$$\frac{28\ corretamente\ classificado}{30\ total\ pontos}=93,33%$$

matriz de confusão

Quantas transações fraudulentas foram classificadas corretamente?

$$Sensitivity = \frac{true\ positives}{true\ positives + false\ negatives} =1/3=33.33\% $$

É melhor marcar transações legítimas como suspeitas do que autorizar transações fraudulentas

$$Specificity = \frac{true\ negatives}{true\ negatives + false\ positives}$$

Filtro de spam:

É melhor enviar spam para a caixa de entrada do que enviar e-mails reais para o spam

Erro = distância entre o ponto (valor real) e a linha (valor previsto)
Você pode calcular isso de várias maneiras, por exemplo, com a raiz do erro quadrático médio

¹ https://www.flickr.com/photos/micahdowty/8540188997

Entendendo Machine Learning