Доступность эталонных меток

Мониторинг систем машинного обучения

Hakim Elakhrass

Co-founder and CEO of NannyML

Мгновенные эталонные метки

Изображение такси, иллюстрирующее задачу предсказания времени прибытия.

  • Отражает реальную производительность

  • Простая оценка

  • Высокая точность

Мониторинг систем машинного обучения

Продакшн-данные — мгновенные метки

График производительности модели классификации: «референсный период» соответствует тестовому набору данных, «период анализа» — потоку продакшн-данных. Рядом — табличный набор данных с выделенными эталонными метками.

Мониторинг систем машинного обучения

Отложенные эталонные метки

Изображение пустого кошелька, иллюстрирующее задачу предсказания дефолта по кредиту.

  • Задержка зависит от области применения
  • Возможный пример — предсказание дефолта по кредиту
  • Производительность в промежутке неизвестна
  • Требуется оценка производительности
Мониторинг систем машинного обучения

Продакшн-данные — отложенные метки

График производительности модели классификации: «референсный период» соответствует тестовому набору данных, «период анализа» — потоку продакшн-данных. Рядом — табличный набор данных с выделенными эталонными метками.

Мониторинг систем машинного обучения

Отсутствующие эталонные метки

Изображение страхового полиса, иллюстрирующее задачу ценообразования в страховании.

  • Встречается в полностью автоматизированных процессах
  • Возможный пример — ценообразование в страховании
  • Реальная производительность неизвестна
  • Требуется оценка производительности
Мониторинг систем машинного обучения

Продакшн-данные — метки отсутствуют

График производительности модели классификации: «референсный период» соответствует тестовому набору данных, «период анализа» — потоку продакшн-данных. Рядом — табличный набор данных с выделенными эталонными метками.

Мониторинг систем машинного обучения

Давайте потренируемся!

Мониторинг систем машинного обучения

Preparing Video For Download...