Відхилення даних

End-to-End Machine Learning

Joshua Stapleton

Machine Learning Engineer

Потреба у виявленні відхилення даних

Графік змін розподілу серцевих захворювань за віком у часі — нині випадків менше, і вони трапляються у старшому віці

End-to-End Machine Learning

Критерій Колмогорова—Смирнова

  • Часто використовують для виявлення відхилення даних
  • Порівнює вибірки, щоб оцінити схожість розподілів

Два графіки, що показують різницю між розподілом початкового тренувального набору та нового інференс-набору після відхилення даних

End-to-End Machine Learning

Використання функції ks_2samp()

  • Функція ks_2samp() повертає два значення: статистику тесту та p-значення.
  • Використайте p-значення, щоб прийняти/відхилити нульову гіпотезу про однаковість розподілів.
from scipy.stats import ks_2samp

# load the 1D data distribution samples for comparison
sample_1, sample_2 = training_dataset_sample, current_inference_sample

# perform the KS-test - ensure input samples are numpy arrays
test_statistic, p_value = ks_2samp(sample_1, sample_2)

if p_value < 0.05:
    print("Reject null hypothesis - data drift might be occuring")
else:
    print("Samples are likely to be from the same dataset")
End-to-End Machine Learning

Як усувати відхилення даних

Оновіть модель з урахуванням нових даних

  • Перенавчіть модель
  • Переналаштуйте / оновіть параметри моделі

Замало нових/інференс-даних?

  • Перенавчіть модель на змішаному наборі
  • Збільшуйте обсяг нових даних

Блок-схема процесу перенавчання та повторного розгортання моделі з відхиленням даних

Діаграма періодичного перенавчання моделі на дедалі більшому обсязі нових даних у міру їх надходження

End-to-End Machine Learning

Додаткові ресурси для виявлення та усунення відхилення даних

  • Population Stability Index (PSI)

    • Порівнює окремі категоріальні змінні / стовпці

  • Evidently

    • Відкрита бібліотека Python
    • Надійне тестування та виправлення відхилення даних

  • NannyML

    • Моніторинг ефективності розгорнутих моделей
End-to-End Machine Learning

Давайте потренуємось!

End-to-End Machine Learning

Preparing Video For Download...