Riscos do machine learning

Machine Learning for Business

Karolis Urbonas

Head of Machine Learning & Science, Amazon

Desempenho ruim

Alguns modelos têm desempenho ruim (revise o desempenho de teste, não de treino):

Baixa precisão
Baixa revocação
Erro grande

Baixa precisão

Baixa precisão — muitos itens da classe de interesse foram classificados errado = muitos falsos positivos

Exemplo — só 10% dos clientes marcados como propensos a comprar realmente compraram

Baixa revocação

Baixa revocação — o modelo capturou (relembrou) só uma fração pequena dos casos da classe

Exemplo — o modelo identificou só 25% das transações fraudulentas

Erro grande

Erro grande — grandes diferenças entre valores previstos e reais

Exemplo — o erro médio na previsão da nota de satisfação do cliente é 3,5 unidades ou 70 pontos percentuais

Casos de uso não acionáveis

P: Como testar os modelos do jeito certo?

R: Rode testes/experimentos para validar o desempenho, p.ex., e-mails de retenção (churn), promoções de produto, manutenção manual de máquinas, revisão manual de transações

Teste A/B

abtest

E se os testes não funcionarem?

Colete mais dados — o negócio precisa participar
Construa modelos causais para entender os fatores
Faça pesquisa qualitativa (pesquisas etc.)
Mude o escopo do problema
- Afoque
- Amplie
- Outra pergunta

Vamos praticar!

Machine Learning for Business