Чи успішна ваша розгорнута система ШІ?

Розуміння штучного інтелекту

Maarten Van den Broeck

Senior Content Developer at DataCamp

Коли вимірювати успіх?

Життєвий цикл методології MLOps

Коли вимірювати успіх?

Вимірювання успіху впродовж життєвого циклу MLOps

Оцінювання офлайн — точність

Тренувальні та валідаційні дані

Оцінювання офлайн — точність

Навчання моделі

Оцінювання офлайн — точність

Валідація моделі на тестових прикладах

Оцінювання офлайн — точність

Порівняння передбачень з істинними мітками

Оцінювання офлайн — точність

Обчислення точності

Поза точністю — помилка та інші метрики

Метрика помилки в регресійних моделях

Метрики для пошуку та рекомендацій: якість ранжування — відповідність елементів запиту користувачу, різноманітність у результатах пошуку чи рекомендаціях тощо.

Ранжування рекомендованих продуктів

Вимірювання успіху у продакшені

Деградація моделі: значення метрики з часом погіршується

Деградація моделі

Бізнес-метрики: ключові показники ефективності (KPI)
- Показник виконання та прогресу цілей організації

Ризики: що може піти не так?

Можливі ризики:

Упередженість даних
Брак прозорості
Етичні питання
Сумнівна надійність системи
Уразливість до кіберзагроз

Proof-of-Concept (PoC):

Пілотний демонстратор для перевірки здійсненності та потенційної цінності + раннє виявлення ризиків

Давайте потренуємось!

Розуміння штучного інтелекту