¿Cómo manejar el drift de concepto?

Conceptos de Monitoring en Machine Learning

Hakim Elakhrass

Co-founder and CEO of NannyML

Detección de drift de concepto

  • Métodos basados en error
    • seguir cambios del error en el tiempo
    • requiere ground truth

 

  • Entrenar un modelo nuevo con datos de training y de producción
    • el cambio en las predicciones es drift de concepto
    • caro en casos avanzados
Conceptos de Monitoring en Machine Learning

Reentrenamiento

La imagen muestra dos gráficos. El primero ilustra una disminución gradual de la accuracy del modelo con el tiempo. El segundo muestra una ligera bajada seguida de un reentrenamiento, que aumenta la accuracy. Este proceso se repite a intervalos.

Pros:

  • mantiene el modelo actualizado con patrones recientes

 

Contras:

  • mayores costes y riesgo de fallo
  • no da la causa raíz del problema
Conceptos de Monitoring en Machine Learning

Aprendizaje online

La imagen ilustra el ciclo de online learning: los datos de la app van a la base de datos y se usan de inmediato para actualizar el modelo, que se vuelve a desplegar.

Pros:

  • adaptación en tiempo real a condiciones cambiantes

 

Contras:

  • requiere acceso constante al ground truth
  • sensible al ruido
  • necesita ajuste fino de parámetros
Conceptos de Monitoring en Machine Learning

Otras soluciones

 

  • Un modelo específico para eventos recurrentes

 

  • Ponderar la importancia de los datos nuevos
    • con más foco en los datos recientes, el modelo se adapta mejor

 

La imagen muestra una línea temporal: el modelo normal se despliega el 23 de noviembre y el modelo de Black Friday el 24. Después, se vuelve a desplegar el modelo normal.

Conceptos de Monitoring en Machine Learning

¡Vamos a practicar!

Conceptos de Monitoring en Machine Learning

Preparing Video For Download...