¿Qué es el cambio de covariables?

Conceptos de Monitoring en Machine Learning

Hakim Elakhrass

Co-founder and CEO of NannyML

Definiciones

variables covariables $=$ variables de entrada
cambia $P(X)$
la probabilidad conjunta $P(Y|X)$ se mantiene
cambios en la distribución conjunta de las covariables

¿Por qué la distribución de probabilidad conjunta?

Un gráfico muestra correlaciones positivas y negativas entre variable 1 y variable 2. La positiva aparece en la semana 10 (azul) y la negativa en la semana 16 (rojo).

¿Por qué ocurre el cambio de covariables?

Motivos del cambio de covariables:

El mundo no es estacionario: los patrones evolucionan
Cambios en las fuentes: varía cómo se recoge el dato entre test y producción
Evolución del sistema y del entorno

¿Cómo ocurre el cambio de covariables?

Dinámica de los cambios en la distribución:

Súbito

Gradual

Estacional

La imagen muestra un cambio súbito en la distribución: primero hay puntos azules y, tras un tiempo, pasan bruscamente a rojos.

La imagen muestra un cambio gradual: empieza en azul y, con el tiempo, pasa a rojo antes de volver a azul. Al inicio solo cambia un punto; después, toda la distribución.

La imagen muestra un cambio estacional: la distribución pasa de azul a rojo y vuelve a azul de forma periódica.

¿Cómo detectar el cambio de covariables?

Método univariante

Una distribución de valores de producción por mes de septiembre a marzo. Hay siete distribuciones en total. De septiembre a diciembre, son similares y con cambios pequeños dentro de lo aceptable, por eso están en azul. De enero a marzo, las distribuciones se encogen y la media baja, lo que se marca en rojo por ser cambios más significativos.

Método multivariante

Flujo para detectar deriva multivariante: los datos multidimensionales se comprimen a un espacio latente y se descomprimen a su forma inicial con cierto error.

¹ https://app.datacamp.com/learn/courses/dimensionality-reduction-in-python

¡Vamos a practicar!

Conceptos de Monitoring en Machine Learning