Medição de desempenho do modelo

Machine Learning for Business

Karolis Urbonas

Head of Machine Learning & Science, Amazon

Tipos de medição de desempenho

Duas métricas chave de aprendizado supervisionado:

Acurácia --> classificação
Erro --> regressão

Desempenho em classificação

Acurácia
Revocação
Precisão

Exemplo de churn

Previsão de churn

Itens classificados errado

Outra previsão de churn

Acurácia

acc

Precisão

precision

Revocação

recall

Desempenho em regressão

Erro

Exemplo de regressão

Prevendo receita com uma reta

Erro de regressão

Testando modelos não lineares

Melhorias no erro

Modelos acionáveis - Teste A/B

Bons modelos nem sempre são acionáveis:

Previsão de churn, de compra, de falha de máquina

Teste se usar modelos melhora resultados:

Ofereça incentivos (descontos, cupons, promoções) a clientes previstos para churnar

Envie e-mails de lembrete e detalhes do produto a quem deve comprar

Isso reduziu churn, aumentou a taxa de compra e diminuiu falhas? Se sim, automatize. Se não, colete mais dados, melhore os modelos e teste de novo.

Vamos praticar!

Machine Learning for Business