Desafios de monitorar modelos de ML

Conceitos de Monitoramento de Machine Learning

Hakim Elakhrass

Co-founder and CEO of NannyML

Componentes de um projeto de ML

Um diagrama de Venn com três círculos representa engenharia de software, análise de dados e machine learning; a interseção dos três representa ciência de dados.

Conceitos de Monitoramento de Machine Learning

O modelo falha ao prever

Possíveis problemas:

  • Barreiras de linguagem — combinar linguagens com código “cola”

 

  • Manutenção de código — incompatibilidade de dependências atualizadas

 

  • Escalonamento — infraestrutura pouco robusta para mais usuários
Conceitos de Monitoramento de Machine Learning

As previsões do modelo falham

Mudança de covariáveis

  • Mudança na distribuição de entrada
  • Dá para detectar com métodos estatísticos
  • Nem todo drift afeta o desempenho

 

Um gráfico de densidade comparando a idade de clientes nos conjuntos de treino e produção mostra que o treino é mais concentrado em idades menores. A produção é semelhante, mas com pico em idades maiores.

Deriva de conceito

  • Mudança na relação entre entradas e alvos
  • Difícil de detectar
  • Quase sempre afeta o impacto no negócio

Há relação entre o valor do ciclo de vida do cliente (CLV) e a feature Idade nos conjuntos de treino e produção. Porém, a relação muda em produção, indicando deriva de conceito.

Conceitos de Monitoramento de Machine Learning

Disponibilidade de ground truth

Imagem de uma loja de roupas.

Conceitos de Monitoramento de Machine Learning

Vamos praticar!

Conceitos de Monitoramento de Machine Learning

Preparing Video For Download...