Disponibilidad de ground truth

Conceptos de Monitoring en Machine Learning

Hakim Elakhrass

Co-founder and CEO of NannyML

Ground truth instantáneo

Imagen de un taxi, relacionada con la predicción de llegada de taxis.

Mide el rendimiento real
Evaluación sencilla
Precisa

Datos de producción: instantáneo

El gráfico muestra el rendimiento de un problema de clasificación: el "período de referencia" es el conjunto de prueba y el "período de análisis" un flujo de datos en producción. También hay una tabla con valores de ground truth resaltados.

Ground truth con retraso

Imagen de una cartera vacía, relacionada con la predicción de impago de préstamos.

El retraso depende de la aplicación
Ejemplo: predicción de impago
Rendimiento desconocido mientras tanto
Requiere estimar el rendimiento

Datos de producción: con retraso

Ground truth ausente

Imagen de una póliza de seguro relacionada con el caso de tarificación de seguros.

Presente en procesos totalmente automatizados
Ejemplo: tarificación de seguros
El rendimiento real es desconocido
Requiere estimar el rendimiento

Datos de producción: ausente

¡Vamos a practicar!

Conceptos de Monitoring en Machine Learning