El flujo ideal de monitoreo

Conceptos de Monitoring en Machine Learning

Hakim Elakhrass

Co-founder and CEO of NannyML

Flujos de monitoreo

Flujo de monitoreo tradicional

  • Calcular rendimiento técnico

  • Alertar por desvíos en los datos de entrada

  • Genera muchas falsas alertas

Flujo ideal de monitoreo

  • Monitoreo del rendimiento técnico

    • Calcular y estimar rendimiento

  • Análisis de causa raíz

    • Vincula desvíos con caídas de rendimiento

 

El flujo ideal de monitoreo empieza con monitoreo de rendimiento. Si baja el rendimiento, se hace análisis de causa raíz y, por último, resolución de incidencias.

Conceptos de Monitoring en Machine Learning

Monitoreo del rendimiento

Incluye:

  • Calcular rendimiento: métricas técnicas como exactitud

 

  • Estimar rendimiento: si no hay verdad terreno

 

  • Medir impacto de negocio: monitorear KPIs

  La gráfica muestra la exactitud en el tiempo; disminuye y cruza el umbral.

La gráfica de KPIs versus tiempo muestra que los KPIs se mantienen dentro de los umbrales.

Conceptos de Monitoring en Machine Learning

Análisis de causa raíz

El objetivo es investigar:

 

  • Cambio de covariables: desvíos en la distribución de entrada

 

  • Deriva de concepto: cambios en la relación entre variables y objetivo

La gráfica muestra la frontera de decisión entre círculos azules y rojos para un modelo que funciona.

La gráfica muestra círculos azules cruzando la frontera de decisión, indicando cambio de covariables.

La gráfica ilustra el cambio en la frontera de decisión, lo que indica deriva de concepto.

Conceptos de Monitoring en Machine Learning

Resolución de incidencias

Posibles soluciones:

  • Reentrenar: requiere más datos y cómputo

 

  • Refactorizar el caso de uso: replantear métodos usados

 

  • Cambiar procesos posteriores: ajustar procesos alrededor de la predicción

  La imagen muestra un cerebro digital, que representa un modelo de aprendizaje automático, y un signo más conectado a una base de datos, indicando reentrenar el modelo con más datos.

La imagen muestra un tablero con preguntas sobre ingeniería de características, las características usadas y regresión lineal.

La imagen muestra a una persona verificando algo manualmente en un ordenador.

Conceptos de Monitoring en Machine Learning

¡Vamos a practicar!

Conceptos de Monitoring en Machine Learning

Preparing Video For Download...