Retos al monitorizar modelos de ML

Conceptos de Monitoring en Machine Learning

Hakim Elakhrass

Co-founder and CEO of NannyML

Componentes de un proyecto de ML

Un diagrama de Venn con tres círculos representa ingeniería de software, analítica de datos y aprendizaje automático; la intersección de los tres es ciencia de datos.

El modelo no logra predecir

Posibles problemas:

Barreras de idioma: combinar lenguajes con código “pegamento”

Mantenimiento del código: incompatibilidad por dependencias actualizadas

Escalado: infraestructura poco robusta para más usuarios

Fallan las predicciones del modelo

Desplazamiento de covariables

Cambio en la distribución de entradas
Detectable con métodos estadísticos
No todo drift afecta al rendimiento

Un gráfico de densidad que compara la edad de clientes en los conjuntos de entrenamiento y producción muestra que el de entrenamiento se sesga a edades bajas. El de producción es similar pero con un pico en edades altas.

Deriva de concepto

Cambia la relación entre entradas y objetivos
Difícil de detectar
Casi siempre impacta al negocio

Existe relación entre el valor del ciclo de vida del cliente (CLV) y la Edad en entrenamiento y producción. En producción la relación cambia, lo que indica deriva de concepto.

Disponibilidad de ground truth

Imagen de una tienda de ropa.

¡Vamos a practicar!

Conceptos de Monitoring en Machine Learning