Como lidar com concept drift?

Conceitos de Monitoramento de Machine Learning

Hakim Elakhrass

Co-founder and CEO of NannyML

Detecção de concept drift

  • Métodos baseados em erro
    • acompanhar a variação do erro ao longo do tempo
    • exige ground truth

 

  • Treinar um novo modelo com dados de treino e de produção
    • mudança nas previsões indica concept drift
    • caro em casos avançados
Conceitos de Monitoramento de Machine Learning

Re-treinamento

A imagem mostra dois gráficos. O primeiro ilustra queda gradual da acurácia do modelo ao longo do tempo. O segundo mostra uma leve queda seguida de re-treinamento, elevando a acurácia, repetido em intervalos.

Prós:

  • mantém o modelo atualizado com padrões recentes

 

Contras:

  • custos maiores e risco de falha
  • não revela a causa raiz
Conceitos de Monitoramento de Machine Learning

Aprendizado online

A imagem ilustra o ciclo de aprendizado online: dados do app vão ao banco e atualizam o modelo imediatamente. O modelo atualizado é implantado de novo.

Prós:

  • adaptação em tempo real a mudanças

 

Contras:

  • exige acesso constante ao ground truth
  • sensível a ruído
  • precisa de ajuste fino de parâmetros
Conceitos de Monitoramento de Machine Learning

Outras soluções

 

  • Modelo específico para eventos recorrentes

 

  • Ponderar a importância dos dados novos
    • com mais foco nos dados recentes, o modelo se adapta melhor

 

A imagem mostra uma linha do tempo: o modelo regular é implantado em 23 de novembro; o modelo de Black Friday em 24 de novembro; depois, o modelo regular volta.

Conceitos de Monitoramento de Machine Learning

Vamos praticar!

Conceitos de Monitoramento de Machine Learning

Preparing Video For Download...