Что такое NannyML?

Мониторинг машинного обучения на Python

Hakim Elakhrass

Co-founder and CEO of NannyML

Предварительные требования

  • Темы курса «Мониторинг моделей машинного обучения»:
    • Идеальный рабочий процесс мониторинга
    • Проблемы мониторинга ML-моделей в продакшене
    • Два типа скрытых сбоев модели: ковариантный сдвиг и концептуальный дрейф
    • Шесть методов обнаружения ковариантного сдвига
    • Теоретические основы методов оценки производительности CBPE и DLE
Мониторинг машинного обучения на Python

Что охватывает этот курс?

  • Создание надёжной системы мониторинга с NannyML
  • Реализация алгоритмов оценки производительности
  • Использование бизнес-калькулятора для определения денежной ценности ML-модели
  • Применение одномерных и многомерных методов обнаружения ковариантного сдвига
Мониторинг машинного обучения на Python

Проблемы мониторинга

$$

Отсутствие эталонных меток

На графике показана метрика ROC AUC во времени: после развёртывания график пуст, так как эталонные метки недоступны.

$$

Усталость от оповещений

На изображении показаны изменения распределения данных во времени; некоторые выделены красным, что указывает на сдвиг, с комментариями: это повод для беспокойства или ложная тревога?

Мониторинг машинного обучения на Python

Решение с открытым исходным кодом

На изображении показаны логотип NannyML и компании, использующие NannyML: Walmart, Allianz, UBS, DeepMind. Также указано, что NannyML совместим с любым фреймворком.

Мониторинг машинного обучения на Python

Ключевые возможности

  1. Мониторинг важных показателей
    • Оценка и расчёт производительности
    • Оценка и расчёт бизнес-ценности
  2. Поиск проблем
    • Одномерный анализ
    • Многомерный анализ
    • Качество данных
  3. Устранение проблем
    • Триггеры переобучения
Мониторинг машинного обучения на Python

Как использовать NannyML?

На изображении показаны тестовые и производственные данные, поступающие в NannyML.

import nannyml

# Load the dataset
reference, analysis, analysis_gt = nannyml.load_us_census_ma_employment_data()
Мониторинг машинного обучения на Python

Давайте потренируемся!

Мониторинг машинного обучения на Python

Preparing Video For Download...