O fluxo ideal de monitoramento

Conceitos de Monitoramento de Machine Learning

Hakim Elakhrass

Co-founder and CEO of NannyML

Fluxos de monitoramento

Fluxo tradicional de monitoramento

  • Calcular desempenho técnico

  • Alertar por desvios nos dados de entrada

  • Gera muitos falsos alertas

Fluxo ideal de monitoramento

  • Monitorar desempenho técnico

    • Calcular e estimar desempenho

  • Análise de causa raiz

    • Relaciona desvios a quedas de desempenho

 

O fluxo ideal de monitoramento começa com monitoramento de desempenho. Se houver degradação, faz-se análise de causa raiz e, por fim, resolução.

Conceitos de Monitoramento de Machine Learning

Monitorando desempenho

Envolve:

  • Calcular desempenho — para métricas técnicas como acurácia

 

  • Estimar desempenho — quando não há ground truth

 

  • Medir impacto no negócio — monitorar KPIs

  O gráfico mostra acurácia ao longo do tempo, que cai e ultrapassa o limite.

O gráfico de KPIs vs. tempo mostra KPIs dentro dos limites ao longo do tempo.

Conceitos de Monitoramento de Machine Learning

Análise de causa raiz

O objetivo é investigar:

 

  • Covariate shift — mudanças na distribuição dos dados de entrada

 

  • Concept drift — mudanças na relação entre features e targets

O gráfico mostra a fronteira de decisão entre círculos azuis e vermelhos para um modelo funcional.

O gráfico mostra o deslocamento de círculos azuis cruzando a fronteira de decisão, indicando covariate shift.

O gráfico ilustra a mudança na fronteira de decisão, indicando concept drift.

Conceitos de Monitoramento de Machine Learning

Resolução de problemas

Soluções possíveis:

  • Retreinar — exige mais dados e computação

 

  • Refatorar o caso de uso — reavaliar métodos usados

 

  • Alterar processos downstream — ajustar processos ao redor da predição

  A imagem mostra um cérebro digital, representando um modelo de ML, e um sinal de mais ligado a um banco de dados, indicando retreino com mais dados.

A imagem mostra um quadro com perguntas sobre engenharia de atributos, recursos usados e regressão linear.

A imagem mostra um trabalhador verificando algo manualmente no computador.

Conceitos de Monitoramento de Machine Learning

Vamos praticar!

Conceitos de Monitoramento de Machine Learning

Preparing Video For Download...