Estimación del rendimiento

Conceptos de Monitoring en Machine Learning

Hakim Elakhrass

Co-founder and CEO of NannyML

Visión general

Dos algoritmos para estimar rendimiento:

  • CBPE: tareas de clasificación
  • DLE: tareas de regresión
Conceptos de Monitoring en Machine Learning

CBPE - Cómo funciona

  • Estima una matriz de confusión

 

  • Permite calcular métricas de clasificación como accuracy, precision, recall

 

  • Captura el impacto del cambio de covariables en el modelo

 

La imagen ilustra el algoritmo CBPE y su funcionamiento. El primer modelo predice a partir de un ejemplo, y esa predicción define la clase. Por ejemplo, si el modelo predice 0.9 para un ejemplo, la clase es positiva porque supera 0.5. Si está por debajo de 0.5, la clase es negativa. Este proceso se repite para todos los ejemplos y las confianzas resultantes se agregan para generar una matriz de confusión estimada.

Conceptos de Monitoring en Machine Learning

CBPE - Consideraciones

  • Sin cambio de covariables en regiones no vistas

 

  • Sin deriva de concepto en los datos entrantes

 

  • Requiere calibración de probabilidades
Conceptos de Monitoring en Machine Learning

DLE - Cómo funciona

  • Predice el error absoluto del modelo

 

  • Usa un modelo hijo externo

 

  • Permite calcular métricas de regresión como MAE, MSE, MSLE

 

  • Captura la presencia de cambio de covariables en los datos de entrada

La imagen describe el proceso de estimación del rendimiento para una tarea de regresión en producción. Primero, los datos de análisis se introducen en el modelo para generar predicciones. Estas predicciones, junto con los datos de análisis, se pasan al modelo hijo, que predice el error. Con esa predicción de error se calculan otras métricas de regresión para evaluar el rendimiento del modelo.

Conceptos de Monitoring en Machine Learning

DLE - Consideraciones

  • Sin cambio de covariables en regiones no vistas

 

  • Sin deriva de concepto en los datos entrantes

 

  • Complejidad extra
Conceptos de Monitoring en Machine Learning

¡Vamos a practicar!

Conceptos de Monitoring en Machine Learning

Preparing Video For Download...