Прямой мониторинг технической производительности

Мониторинг систем машинного обучения

Hakim Elakhrass

Co-founder and CEO of NannyML

Ковариатный сдвиг и производительность

Три вида ковариатного сдвига:

  • Сдвиг в сторону определённых регионов

    • больше людей с высоким доходом подают заявки на кредит

  • Сдвиг в сторону недопредставленных регионов

    • 10% заявок от специалистов в сфере технологий вместо 0,5% из обучающих данных

  • Сдвиг в сторону менее определённых регионов

    • доля людей со средним доходом вблизи границы решений выросла с 20% до 40%

 

-> Нет влияния

 

-> Влияние неизвестно

 

-> Негативное влияние

Мониторинг систем машинного обучения

Гарантированное негативное влияние

 
 
 
 

Ковариатный сдвиг в неопределённые регионы всегда негативно влияет на производительность

Визуализация обучающего периода выделяет область, где модель наименее уверена. В процессе эксплуатации в этой области оказывается больше людей, чем раньше.

Мониторинг систем машинного обучения

Проблема ложных оповещений

На изображении показаны точки, обозначающие оповещения, и то, как важные точки теряются при их избыточном количестве

Мониторинг систем машинного обучения

Важность технической производительности

  • Прямая метрика качества выполнения задачи моделью

 

  • Отражает любые скрытые сбои модели

 

  • Устраняет перегрузку ложными оповещениями

На изображении показан фрагмент схемы мониторинга. Первый блок — мониторинг производительности, под ним пунктиром соединён блок с вопросом о том, продолжает ли модель работать корректно, справа — ромб «деградация производительности», стрелка вправо с надписью «да» и стрелка, возвращающаяся к блоку мониторинга, с надписью «нет».

Мониторинг систем машинного обучения

Давайте потренируемся!

Мониторинг систем машинного обучения

Preparing Video For Download...