Как обнаружить ковариатный сдвиг

Мониторинг систем машинного обучения

Hakim Elakhrass

Co-founder and CEO of NannyML

Многомерное обнаружение дрейфа

  • Выявляет изменения в совместном распределении

 

 

  • Использует алгоритм PCA для сжатия данных

 

 

  • Использует ошибку восстановления как меру дрейфа

На изображении показан процесс многомерного обнаружения дрейфа: многомерные данные сжимаются в латентное пространство, а затем восстанавливаются до исходной формы с определённой ошибкой реконструкции.

На графике показаны колебания ошибки реконструкции дрейфа данных во времени.

Мониторинг систем машинного обучения

Одномерное обнаружение дрейфа

Типы переменных:

  • Категориальные — представляют типы данных, которые можно разделить на группы: семейное положение, статус курильщика, уровень образования

 

  • Непрерывные — переменная с бесконечным числом вещественных значений в заданном интервале: рост, вес, расстояние, время
Мониторинг систем машинного обучения

Методы для непрерывных данных — Дженсен – Шеннон

  • Измеряет сходство двух распределений

  • Диапазон [0, 1]

  • Фиксирует значимые дрейфы малой величины

На изображении показано изменение распределения, измеренное расстоянием Дженсена – Шеннона.

Мониторинг систем машинного обучения

Методы для непрерывных данных — Вассерштейн

  • Минимальные усилия для преобразования одного распределения в другое

  • Диапазон [0, +inf]

  • Чувствителен к выбросам

На изображении показано изменение распределения, измеренное расстоянием Вассерштейна.

Мониторинг систем машинного обучения

Методы для непрерывных данных — Колмогоров – Смирнов

  • Максимальное расстояние между функциями кумулятивного распределения

  • Диапазон [0, 1]

  • Склонен к ложным срабатываниям

На изображении показано изменение распределения, измеренное расстоянием Колмогорова – Смирнова.

Мониторинг систем машинного обучения

Методы для непрерывных данных — Хеллингер

  • Перекрытие между распределениями
  • Диапазон [0, 1]
  • Не различает сильные сдвиги

 

Методы для непрерывных данных — рекомендации

  • Дженсен – Шеннон и Вассерштейн, как правило, показывают хорошие результаты

На изображении показано изменение распределения, измеренное расстоянием Хеллингера.

Мониторинг систем машинного обучения

Методы для категориальных данных — хи-квадрат

  • Чувствителен к изменениям в редких категориях

На изображении показана визуализация критерия хи-квадрат для категориальной переменной с двумя категориями: a и b.

Мониторинг систем машинного обучения

Методы для категориальных данных — L-infinity

  • Определяет наиболее значимый сдвиг по всем категориям

На изображении показана визуализация метода L-Infinity для категориальной переменной с тремя категориями: a, b и c.

Мониторинг систем машинного обучения

Методы для категориальных данных — Дженсен – Шеннон и Хеллингер

  • Дженсен – Шеннон или L-Infinity при большом числе категорий
  • Расстояние L-Infinity для обнаружения изменений в отдельных категориях

На изображении показана визуализация методов Дженсена – Шеннона и Хеллингера для категориальной переменной с тремя категориями: a, b и c.

Мониторинг систем машинного обучения

Давайте потренируемся!

Мониторинг систем машинного обучения

Preparing Video For Download...