Acompanhando o desempenho

Desmistificando Decision Science

Akshay Swaminathan

PD Soros Fellow at Stanford University School of Medicine

Desempenho do modelo

Modelos diferentes, pontos fortes diferentes

  • Um modelo é melhor para identificar quem tende a dar calote
  • O outro é melhor para estimar quanto podem dar de calote

  scales.png

Qual modelo é melhor? Depende do objetivo

  • Você se importa mais em sinalizar clientes de risco
  • Ou em estimar o impacto financeiro do calote
Desmistificando Decision Science

Métricas do modelo

Métricas diferentes iluminam aspectos diferentes do desempenho

Métricas de avaliação comuns:

  • Accuracy
  • Precision
  • Recall
  • F1-Score
  • Area Under the Curve (AUC)
  • Mean Absolute Error (MAE)
  • Mean Absolute Percent Error (MAPE)

  dashboard.png

Desmistificando Decision Science

Accuracy

 

Visão geral da correção

  • Mede a porcentagem de previsões que o modelo acertou
  • Funciona bem quando as classes estão balanceadas, como spam vs not spam

acc.png

Precision

 

Quantos positivos previstos estão corretos

  • Importante quando falsos positivos são caros
  • Precisão baixa = sinalizar muitas transações legítimas como fraudulent

precision.png

Desmistificando Decision Science

Mais métricas

Recall: captar os verdadeiros positivos

  • Mede quão bem o modelo encontra os positivos reais
  • Importante quando perder um caso tem alto custo (ex.: fraude, doença)

Area under the curve (AUC): medida de separação de classes

  • Avalia quão bem o modelo distingue classes
  • Não depende de um limiar específico

Métricas de regressão: erro de previsão

  • Mean Absolute Error (MAE): tamanho médio dos erros de previsão
  • Mean Percentage Error (MPE): quão distante em termos percentuais

 

moremetrics.png

Desmistificando Decision Science

Dashboards são essenciais

Dashboards transformam análises complexas em insights claros e acionáveis, facilitando a tomada de decisão.

 

dahsboard2.gif

Desmistificando Decision Science

Princípios básicos

 

Conheça seu público

  • Executivos querem resumos
  • Analistas precisam de detalhes

 

Destaque as métricas-chave

  • Mostre só o que mais importa
  • Evite poluição visual e ruído

 

Use visualizações claras

  • Barras para comparações, linhas para tendências no tempo
  • Visuais simples costumam funcionar melhor

  clear.png

Desmistificando Decision Science

Mais princípios

Acompanhe mudanças ao longo do tempo

  • Monitore desempenho do modelo e drift de features
  • Tendências dão contexto às métricas

Adicione contexto, não só números

  • Use anotações breves para explicar mudanças-chave
  • Ajude usuários a entender o que acontece e por quê

Teste e itere

  • Compartilhe cedo e colete feedback
  • Atualize os dashboards conforme modelos e necessidades evoluem

iterate.png

Desmistificando Decision Science

Vamos praticar!

Desmistificando Decision Science

Preparing Video For Download...