Чому потрібно моніторити модель

Основи моніторингу Machine Learning

Hakim Elakhrass

Co-founder and CEO of NannyML

Machine learning у продакшені

Типовий процес розробки

Схема зі стрілками з чотирьох елементів: визначення проєкту, підготовка даних, тренування моделі та її розгортання.

Після розгортання

Оновлена схема розробки data science з новою стрілкою моніторингу після етапу розгортання. Також додано стрілки від моніторингу до підготовки даних, тренування моделі та розгортання для ітеративних покращень на основі результатів моніторингу.

Основи моніторингу Machine Learning

Зменшення ризику відмови

Випадок Zillow

Табличка «Продається» перед будинком.

Чому моделі виходять з ладу:

  • Проблеми ПЗ
  • Дріфт у вхідних даних
  • Зміни у зв'язках між ознаками та цільовими змінними
Основи моніторингу Machine Learning

Максимізація бізнес-ефекту

 

  • Оптимізація моделі під бізнес-цілі

 

  • Зниження хмарних витрат

 

Зображення піраміди з шести дерев'яних блоків. Основа — створення KPI; інші рівні символізують зростання, досягнення цілей і вищу ефективність.

Зображення логотипа хмари, складеного з дев'яти дерев'яних блоків.

Основи моніторингу Machine Learning

Підвищення безпеки ШІ

Три проблеми безпеки:

  • Упередженість — справедливі результати для різних груп користувачів

 

  • Атаки зловмисників — виявлення підміни вхідних даних

 

  • Нестача пояснюваності — розуміння, як модель ухвалює рішення

 

Дерев'яний блок із терезами, який рухають уперед, що символізує більше справедливості та меншу упередженість.

Дерев'яний блок із замком, який рухають уперед, що символізує зростання безпеки.

Дерев'яний блок із зображенням голови та лініями, що символізують краще розуміння інтелектуальної системи.

Основи моніторингу Machine Learning

Змінюємо світ за допомогою даних

Процес автоматизації

Зображення автоматизованої виробничої лінії.

Основи моніторингу Machine Learning

Давайте потренуємось!

Основи моніторингу Machine Learning

Preparing Video For Download...