Многомерное обнаружение дрейфа

Мониторинг машинного обучения на Python

Hakim Elakhrass

CEO and co-founder

Что такое многомерное обнаружение дрейфа?

  • Первый шаг анализа первопричин
  • Результат — одно число для всех признаков
  • Выявляет незначительные изменения в данных

На изображении показан процесс мониторинга и место многомерного обнаружения дрейфа в нём.

Мониторинг машинного обучения на Python

Как это работает?

  1. Сжатие данных с помощью алгоритма PCA
  2. Восстановление данных до исходной формы с помощью обратного PCA
  3. Измерение ошибки реконструкции — её рост указывает на дрейф данных

На изображении показан принцип работы многомерного обнаружения дрейфа.

Мониторинг машинного обучения на Python

Реализация в коде

# Initialize multivariate drift detection calculator
mv_calc = nannyml.DataReconstructionDriftCalculator(
    column_names=features_column_names,
    timestamp_column_name='timestamp',
    chunk_period='m'
    )

# Fit and calculate the results
mv_calc.fit(reference)
mv_results = mv_calc.calculate(analysis)
Мониторинг машинного обучения на Python

Визуализация результатов

mv_figure = mv_results.filter(period='analysis').plot()
mv_figure.show()

На изображении показан график ошибки реконструкции во времени.

Мониторинг машинного обучения на Python

Многомерный дрейф и фактическая производительность

figure = mv_results.filter(period='analysis').compare(perf_results).plot()
figure.show()

На изображении показан сравнительный график фактической производительности и ошибки реконструкции.

Мониторинг машинного обучения на Python

Давайте потренируемся!

Мониторинг машинного обучения на Python

Preparing Video For Download...