Cómo detectar el cambio de covariables

Conceptos de Monitoring en Machine Learning

Hakim Elakhrass

Co-founder and CEO of NannyML

Detección de deriva multivariante

  • Busca cambios en la distribución conjunta

 

 

  • Usa PCA para comprimir datos

 

 

  • Usa el error de reconstrucción como medida de deriva

La imagen muestra un flujo de trabajo de detección de deriva multivariante, donde los datos multidimensionales se comprimen al espacio latente y luego se descomprimen a su forma original con cierta reconstrucción.

El gráfico ilustra las fluctuaciones del error de deriva en la reconstrucción a lo largo del tiempo.

Conceptos de Monitoring en Machine Learning

Detección de deriva univariante

Tipos de variables:

  • Categóricas: representan tipos de datos divididos en grupos como estado civil, hábito de fumar, nivel educativo

 

  • Continuas: variable con infinitos valores reales en un intervalo, como altura, peso, distancia, tiempo
Conceptos de Monitoring en Machine Learning

Métodos continuos - Jensen-Shannon

  • Mide la similitud de dos distribuciones

  • Rango [0, 1]

  • Detecta derivas pequeñas pero relevantes

La imagen muestra el cambio en la distribución medido por la distancia de Jensen-Shannon.

Conceptos de Monitoring en Machine Learning

Métodos continuos - Wasserstein

  • Esfuerzo mínimo para transformar una distribución en otra

  • Rango [0, +inf]

  • Sensible a valores atípicos

La imagen muestra el cambio en la distribución medido por la distancia de Wasserstein.

Conceptos de Monitoring en Machine Learning

Métodos continuos - Kolmogórov-Smirnov

  • Distancia máxima entre las CDF

  • Rango [0, 1]

  • Propensa a falsos positivos

La imagen muestra el cambio en la distribución medido por la distancia de Kolmogórov-Smirnov.

Conceptos de Monitoring en Machine Learning

Métodos continuos - Hellinger

  • Superposición entre distribuciones
  • Rango [0, 1]
  • No diferencia bien cambios fuertes

 

Métodos continuos - Recomendación

  • Jensen-Shannon y Wasserstein suelen funcionar bien

La imagen muestra el cambio en la distribución medido por la distancia de Hellinger.

Conceptos de Monitoring en Machine Learning

Métodos categóricos - Ji cuadrado

  • Sensible a cambios en categorías de baja frecuencia

La imagen muestra una visualización del estadístico ji cuadrado para una variable categórica con dos categorías, a y b.

Conceptos de Monitoring en Machine Learning

Métodos categóricos - L-infinito

  • Identifica el mayor cambio entre todas las categorías

La imagen muestra una visualización del método L-infinito para una variable categórica con tres categorías, a, b y c.

Conceptos de Monitoring en Machine Learning

Métodos categóricos - Jensen-Shannon y Hellinger

  • Jensen-Shannon o L-infinito con muchas categorías
  • Distancia L-infinito para cambios en categorías individuales

La imagen muestra una visualización de los métodos Jensen-Shannon y Hellinger para una variable categórica con tres categorías, a, b y c.

Conceptos de Monitoring en Machine Learning

¡Vamos a practicar!

Conceptos de Monitoring en Machine Learning

Preparing Video For Download...