Por qué debes monitorizar tu modelo

Conceptos de Monitoring en Machine Learning

Hakim Elakhrass

Co-founder and CEO of NannyML

ML en producción

Proceso de desarrollo típico

El flujo en flecha tiene cuatro elementos: definir el proyecto, preparar los datos, entrenar el modelo y desplegarlo.

Tras el despliegue

Versión actualizada del flujo de desarrollo de ciencia de datos, con una nueva flecha de monitorización tras el despliegue. Además, se añaden flechas que conectan la monitorización con preparar datos, entrenar el modelo y desplegar, permitiendo mejoras iterativas basadas en el rendimiento monitorizado.

Reducir el riesgo de fallo

Caso de Zillow

Un cartel de “Se vende” frente a una casa.

Motivos de fallo del modelo:

Problemas de software
Derivas en los datos de entrada
Cambios en la relación entre variables y objetivo

Maximizar el impacto en el negocio

Optimizar el modelo según los objetivos de negocio

Reducir costes en la nube

La imagen muestra una pirámide de seis bloques de madera. La base forma un KPI con cada letra en cada bloque. Las capas restantes representan crecimiento, logro de metas y mayor eficiencia.