Como detectar covariate shift

Conceitos de Monitoramento de Machine Learning

Hakim Elakhrass

Co-founder and CEO of NannyML

Detecção de drift multivariado

  • Busca mudanças na distribuição conjunta

 

 

  • Usa PCA para comprimir os dados

 

 

  • Usa o erro de reconstrução como medida de drift

A imagem mostra um fluxo de detecção de drift multivariado, em que os dados multidimensionais são comprimidos para o espaço latente e depois descomprimidos ao original com certa reconstrução.

O gráfico mostra as flutuações do erro de reconstrução ao longo do tempo.

Conceitos de Monitoramento de Machine Learning

Detecção de drift univariado

Tipos de variáveis:

  • Categóricas — representam tipos de dados divididos em grupos, como estado civil, tabagismo, escolaridade

 

  • Contínuas — variáveis com infinitos valores reais em um intervalo, como altura, peso, distância, tempo
Conceitos de Monitoramento de Machine Learning

Métodos contínuos - Jensen-Shannon

  • Mede a similaridade de duas distribuições

  • Intervalo [0, 1]

  • Capta drifts pequenos mas relevantes

A imagem mostra a mudança na distribuição medida pela distância de Jensen-Shannon.

Conceitos de Monitoramento de Machine Learning

Métodos contínuos - Wasserstein

  • Esforço mínimo para transformar uma distribuição em outra

  • Intervalo [0, +inf]

  • Sensível a outliers

A imagem mostra a mudança na distribuição medida pela distância de Wasserstein.

Conceitos de Monitoramento de Machine Learning

Métodos contínuos - Kolmogorov-Smirnov

  • Distância máxima entre as CDFs

  • Intervalo [0, 1]

  • Suscetível a falsos positivos

A imagem mostra a mudança na distribuição medida pela distância de Kolmogorov-Smirnov.

Conceitos de Monitoramento de Machine Learning

Métodos contínuos - Hellinger

  • Sobreposição entre distribuições
  • Intervalo [0, 1]
  • Não diferencia shifts fortes

 

Métodos contínuos - Recomendação

  • Jensen-Shannon e Wasserstein geralmente vão bem

A imagem mostra a mudança na distribuição medida pela distância de Hellinger.

Conceitos de Monitoramento de Machine Learning

Métodos categóricos - Qui-quadrado

  • Sensível a mudanças em categorias de baixa frequência

A imagem mostra uma visualização do qui-quadrado para uma variável categórica com duas categorias, a e b.

Conceitos de Monitoramento de Machine Learning

Métodos categóricos - L-infinito

  • Identifica o maior shift entre todas as categorias

A imagem mostra uma visualização do método L-infinito para uma variável categórica com três categorias, a, b e c.

Conceitos de Monitoramento de Machine Learning

Métodos categóricos - Jensen-Shannon e Hellinger

  • Jensen-Shannon ou L-infinito para muitas categorias
  • Distância L-infinito para mudanças em categorias individuais

A imagem mostra uma visualização dos métodos Jensen-Shannon e Hellinger para uma variável categórica com três categorias, a, b e c.

Conceitos de Monitoramento de Machine Learning

Vamos praticar!

Conceitos de Monitoramento de Machine Learning

Preparing Video For Download...