Supervisar el rendimiento técnico directamente

Conceptos de Monitoring en Machine Learning

Hakim Elakhrass

Co-founder and CEO of NannyML

Relación entre cambio de covariables y rendimiento

Tres cambios de covariables:

  • Desplazamientos a regiones seguras

    • más personas de altos ingresos solicitando préstamos

  • Desplazamientos a regiones subrepresentadas

    • 10% de personal técnico solicitando préstamos en vez del 0,5% del entrenamiento

  • Desplazamientos a regiones inciertas

    • cambio del 20% al 40% de personas de ingresos medios cerca del umbral de decisión

 

-> Sin impacto

 

-> Impacto desconocido

 

-> Impacto negativo

Conceptos de Monitoring en Machine Learning

Impacto negativo garantizado

 
 
 
 

El cambio hacia regiones inciertas siempre afecta negativamente al rendimiento

La visualización del periodo de entrenamiento resalta la región donde el modelo es menos seguro. En producción, hay más personas en esa región que antes.

Conceptos de Monitoring en Machine Learning

Problema de falsas alertas

La imagen muestra puntos que representan alertas y cómo los importantes se pierden cuando hay demasiados.

Conceptos de Monitoring en Machine Learning

La importancia del rendimiento técnico

  • Métrica directa de cómo rinde el modelo en la tarea

 

  • Refleja fallos silenciosos del modelo

 

  • Evita la sobrecarga de falsas alertas

La imagen muestra parte del diagrama de monitorización. Arriba, "Performance monitoring"; debajo, en una caja discontinua conectada con línea de puntos: "is model still performing?"; a la derecha, un rombo con "performance degradation"; flecha a la derecha con "yes"; y una flecha que vuelve a la caja de performance monitoring con "no".

Conceptos de Monitoring en Machine Learning

¡Vamos a practicar!

Conceptos de Monitoring en Machine Learning

Preparing Video For Download...