O que é covariate shift?

Conceitos de Monitoramento de Machine Learning

Hakim Elakhrass

Co-founder and CEO of NannyML

Definições

variáveis covariáveis = features de entrada
P(X) muda
probabilidade condicional P(Y|X) permanece igual
mudanças na distribuição conjunta das covariáveis

Por que distribuição de probabilidade conjunta?

Um gráfico mostra correlações positiva e negativa entre feature 1 e feature 2. Correlação positiva na semana 10 (azul) e negativa na semana 16 (vermelho).

Por que ocorre covariate shift?

Possíveis causas do covariate shift:

O mundo real não é estacionário: padrões e tendências mudam
Mudanças nas fontes de dados: diferenças de coleta entre teste e produção
Evolução do sistema e do ambiente

Como o covariate shift ocorre?

Dinâmica das mudanças na distribuição:

Súbita

Gradual

Sazonal

A imagem mostra uma mudança súbita na distribuição: pontos azuis viram vermelhos de repente após um tempo.

A imagem mostra uma mudança gradual na distribuição: pontos azuis passam aos poucos para vermelho e depois voltam ao azul; primeiro muda um ponto, depois toda a distribuição.

A imagem mostra uma mudança sazonal na distribuição: pontos azuis viram vermelhos por um período e depois voltam ao azul, repetindo o ciclo.

Como detectar o covariate shift?

Método univariado

Uma distribuição de valores de produção por mês de setembro a março. São sete distribuições. De setembro a dezembro, são semelhantes e com pequenas variações aceitáveis (azul). De janeiro a março, as distribuições encolhem e a média cai, resultando em vermelho por mudanças mais fortes.

Método multivariado

Um fluxo de detecção de drift multivariado: os dados multidimensionais são comprimidos para o espaço latente e descomprimidos para a forma inicial com certo erro.

¹ https://app.datacamp.com/learn/courses/dimensionality-reduction-in-python

Vamos praticar!

Conceitos de Monitoramento de Machine Learning