Оценка производительности

Мониторинг систем машинного обучения

Hakim Elakhrass

Co-founder and CEO of NannyML

Обзор

Два алгоритма оценки производительности:

  • CBPE — задачи классификации
  • DLE — задачи регрессии
Мониторинг систем машинного обучения

CBPE — принцип работы

  • Оценивает матрицу ошибок

 

  • Позволяет вычислять метрики классификации: точность, precision, recall

 

  • Учитывает влияние ковариатного сдвига на модель

 

Алгоритм CBPE проиллюстрирован на схеме: первая модель делает предсказание для заданного примера, и на его основе определяется класс. Если модель выдаёт значение 0,9, класс считается положительным (значение выше 0,5); если значение ниже 0,5 — класс отрицательный. Этот процесс выполняется для всех примеров в наборе данных, а полученные оценки уверенности агрегируются для построения оценочной матрицы ошибок.

Мониторинг систем машинного обучения

CBPE — особенности применения

  • Нет ковариатного сдвига в необнаруженных областях

 

  • Нет концептуального дрейфа во входящих данных

 

  • Требуется калибровка вероятностей
Мониторинг систем машинного обучения

DLE — принцип работы

  • Предсказывает абсолютную ошибку модели

 

  • Использует внешнюю вспомогательную модель

 

  • Позволяет вычислять метрики регрессии: MAE, MSE, MSLE

 

  • Учитывает наличие ковариатного сдвига во входных данных

На изображении показан процесс оценки производительности для задачи регрессии в продакшене. Сначала аналитические данные подаются в модель для получения предсказаний. Эти предсказания вместе с аналитическими данными передаются во вспомогательную модель, которая предсказывает ошибку. На основе этой оценки ошибки вычисляются другие метрики регрессии для оценки производительности модели.

Мониторинг систем машинного обучения

DLE — особенности применения

  • Нет ковариатного сдвига в необнаруженных областях

 

  • Нет концептуального дрейфа во входящих данных

 

  • Дополнительная сложность
Мониторинг систем машинного обучения

Давайте потренируемся!

Мониторинг систем машинного обучения

Preparing Video For Download...