Як виявляти зсув співзмінних

Основи моніторингу Machine Learning

Hakim Elakhrass

Co-founder and CEO of NannyML

Виявлення багатовимірного дрейфу

  • Шукає зміни у спільному розподілі

 

 

  • Використовує алгоритм PCA для стиснення даних

 

 

  • Використовує похибку реконструкції як міру дрейфу

Зображено робочий процес виявлення багатовимірного дрейфу: багатовимірні дані спершу стискаються в латентний простір, а потім відновлюються до початкового вигляду з певною реконструкцією.

Графік показує коливання похибки дрейфу під час реконструкції даних.

Основи моніторингу Machine Learning

Виявлення одновимірного дрейфу

Типи змінних:

  • Категоріальні — поділяють дані на групи, як-от сімейний стан, статус куріння, рівень освіти

 

  • Неперервні — мають нескінченну кількість дійсних значень у проміжку, як-от зріст, вага, відстань, час
Основи моніторингу Machine Learning

Неперервні методи — Jensen–Shannon

  • Вимірює схожість двох розподілів

  • Діапазон [0, 1]

  • Фіксує змістовні дрейфи малої величини

Зміни розподілу, виміряні відстанню Дженсена—Шеннона.

Основи моніторингу Machine Learning

Неперервні методи — Wasserstein

  • Мінімальні зусилля для перетворення одного розподілу в інший

  • Діапазон [0, +inf]

  • Чутлива до викидів

Зміни розподілу, виміряні відстанню Васерштайна.

Основи моніторингу Machine Learning

Неперервні методи — Kolmogorov–Smirnov

  • Максимальна відстань між кумулятивними функціями розподілу

  • Діапазон [0, 1]

  • Схильний до хибних спрацювань

Зміни розподілу, виміряні відстанню Колмогорова—Смірнова.

Основи моніторингу Machine Learning

Неперервні методи — Hellinger

  • Перекриття між розподілами
  • Діапазон [0, 1]
  • Не розрізняє сильні зсуви

 

Неперервні методи — рекомендація

  • Jensen–Shannon і Wasserstein зазвичай працюють добре

Зміни розподілу, виміряні відстанню Хеллінгера.

Основи моніторингу Machine Learning

Категоріальні методи — χ‑квадрат

  • Чутливий до змін у низькочастотних категоріях

Візуалізація статистики χ-квадрат для категоріальної змінної з двома категоріями, a та b.

Основи моніторингу Machine Learning

Категоріальні методи — L‑infinity

  • Визначає найбільший зсув серед усіх категорій

Візуалізація методу L-infinity для категоріальної змінної з трьома категоріями: a, b і c.

Основи моніторингу Machine Learning

Категоріальні методи — Jensen–Shannon і Hellinger

  • Jensen–Shannon або L‑Infinity, коли категорій багато
  • Відстань L‑Infinity для виявлення змін в окремих категоріях

Візуалізація методів Jensen–Shannon і Hellinger для категоріальної змінної з трьома категоріями: a, b і c.

Основи моніторингу Machine Learning

Давайте потренуємось!

Основи моніторингу Machine Learning

Preparing Video For Download...