Успешна ли ваша развёрнутая система ИИ?

Понимание искусственного интеллекта

Maarten Van den Broeck

Senior Content Developer at DataCamp

Когда измерять успех?

Жизненный цикл методологии MLOps

Когда измерять успех?

Измерение успеха на протяжении жизненного цикла MLOps

Оценка производительности офлайн — точность

Обучающие и валидационные данные

Оценка производительности офлайн — точность

Обучение модели

Оценка производительности офлайн — точность

Валидация модели на тестовых примерах

Оценка производительности офлайн — точность

Сравнение предсказаний с реальными метками

Оценка производительности офлайн — точность

Вычисление точности

За пределами точности — ошибка и другие метрики

Метрика ошибки в регрессионных моделях

Метрики для поисковых систем и систем рекомендаций: качество ранжирования — релевантность ранжированных элементов для пользователя, разнообразие в результатах поиска или рекомендациях и т. д.

Ранжирование рекомендуемых товаров

Измерение успеха в производственной среде

Деградация модели: значение измеряемой метрики со временем ухудшается

Деградация модели

Бизнес-метрики: ключевые показатели эффективности (KPI)
- Индикатор производительности и прогресса в достижении целей организации

Риски: что может пойти не так?

Возможные риски включают:

Предвзятость данных
Недостаток прозрачности
Этические проблемы
Сомнительная надёжность системы
Уязвимость к киберугрозам

Подтверждение концепции (PoC):

Пилотный демонстратор для проверки осуществимости и потенциальной ценности + раннее выявление рисков

Давайте потренируемся!

Понимание искусственного интеллекта