O que é concept drift?

Conceitos de Monitoramento de Machine Learning

Hakim Elakhrass

Co-founder and CEO of NannyML

Definição

Mudança na relação entre entradas do modelo e o alvo

$P(Y|X)$ muda, $P(X)$ fica igual

A imagem mostra mudança na relação entre renda e idade em produção comparada ao ambiente de treino.

Por que ocorre drift?

Eventos externos
- tendências virais, mudanças de política
Sazonalidade não modelada
- em previsão de demanda, eventos como Black Friday ou Natal
Mudanças no processo de geração de dados
- nova atualização no app de coleta
Comportamento do usuário em evolução
- hábitos, padrões e preferências mudam sempre

Dinâmica do concept drift

Drift súbito: um novo conceito surge em pouco tempo

Drift gradual: um novo conceito substitui o antigo aos poucos

Recorrente: o conceito antigo volta ao longo do tempo

Imagem mostra o texto Covid-19.

Imagem mostra cédulas americanas.

Imagem mostra pôster com 50% de desconto na Black Friday.

Efeitos do covariate shift no concept drift

Negativo
- o efeito do concept drift diminui

Positivo
- o efeito do concept drift aumenta

A imagem ilustra um covariate shift entre treino e produção. A feature renda mudou de 80k/ano para 100k/ano. No segundo gráfico, há concept drift: a relação entre renda e inadimplência prevista mudou. Assim, há maior probabilidade de inadimplência para solicitantes com menor renda.

A imagem ilustra um covariate shift entre treino e produção. A feature renda mudou de 80k/ano para 60k/ano. No segundo gráfico, há concept drift: a relação entre renda e inadimplência prevista mudou. Assim, há maior probabilidade de inadimplência para solicitantes com menor renda.

Vamos praticar!

Conceitos de Monitoramento de Machine Learning