¿Qué es el drift de concepto?

Conceptos de Monitoring en Machine Learning

Hakim Elakhrass

Co-founder and CEO of NannyML

Definición

Cambio en la relación entre las entradas y el objetivo del modelo

Cambia $P(Y|X)$, $P(X)$ se mantiene

La imagen muestra un cambio en la relación entre ingresos y edad en producción frente al entorno de entrenamiento.

¿Por qué ocurre el drift?

Eventos externos
- tendencias virales, cambios de políticas
Estacionalidad no modelada
- en pronóstico de demanda: eventos como Black Friday o Navidad
Cambios en el proceso de generación de datos
- nueva actualización en la app de recogida de datos
Comportamiento del usuario en evolución
- hábitos, patrones y preferencias cambian constantemente

Dinámica del drift de concepto

Drift súbito: surge un concepto nuevo en poco tiempo

Drift gradual: un concepto nuevo reemplaza poco a poco al anterior

Recurrente: el concepto antiguo reaparece con el tiempo

La imagen muestra el texto Covid-19.

La imagen muestra billetes estadounidenses.

La imagen muestra un cartel con 50% de rebajas en Black Friday.

Efectos del covariate shift en el drift de concepto

Negativo
- el efecto del drift de concepto disminuye

Positivo
- el efecto del drift de concepto se intensifica

La imagen ilustra un covariate shift entre entrenamiento y producción. En concreto, la característica ingresos pasa de 80k/año a 100k/año. En el segundo gráfico se muestra drift de concepto, con un cambio en la relación entre ingresos y la predicción de impago del préstamo. Como resultado, hay mayor probabilidad de impago en solicitantes con menores ingresos.

La imagen ilustra un covariate shift entre entrenamiento y producción. En concreto, la característica ingresos pasa de 80k/año a 60k/año. En el segundo gráfico se muestra drift de concepto, con un cambio en la relación entre ingresos y la predicción de impago del préstamo. Como resultado, hay mayor probabilidad de impago en solicitantes con menores ingresos.

¡Vamos a practicar!

Conceptos de Monitoring en Machine Learning