Що таке NannyML?

Моніторинг Machine Learning у Python

Hakim Elakhrass

Co-founder and CEO of NannyML

Необхідні знання

  • Теми з моніторингу Machine Learning:
    • Ідеальний робочий процес моніторингу
    • Виклики моніторингу ML-моделей у продакшені
    • Два тихі збої моделей: зсув коваріат і зсув концепції
    • Шість методів виявлення зсуву коваріат
    • Теорія за методами оцінки продуктивності CBPE та DLE
Моніторинг Machine Learning у Python

Що охоплює цей курс?

  • Побудуйте надійну систему моніторингу з NannyML
  • Реалізуйте алгоритми оцінки продуктивності
  • Використайте бізнес-калькулятор, щоб визначити грошову цінність вашої ML-моделі
  • Запускайте одновимірні та багатовимірні методи виявлення зсуву коваріат
Моніторинг Machine Learning у Python

Виклики моніторингу

$$

Немає доступу до ground truth

Графік показує метрику ROC AUC у часі; після розгортання графік порожній, бо немає доступу до ground truth.

$$

Втома від сповіщень

Зображення показує зміни розподілу даних у часі; деякі червоні, що вказує на зсув, із примітками. Час хвилюватися чи це хибна тривога?

Моніторинг Machine Learning у Python

Відкрите рішення з відкритим кодом

Зображення містить логотип NannyML і компанії, що його використовують, як-от Walmart, Allianz, UBS, DeepMind. Також зазначено, що NannyML працює з будь-яким фреймворком.

Моніторинг Machine Learning у Python

Ключові можливості

  1. Моніторинг важливого
    • Оцінка та розрахунок продуктивності
    • Оцінка та розрахунок бізнес-цінності
  2. Знаходьте, що зламалось
    • Одновимірні методи
    • Багатовимірні методи
    • Якість даних
  3. Виправляйте
    • Тригери перетренування
Моніторинг Machine Learning у Python

Як користуватися NannyML?

Зображення показує надходження тестових і продакшен-даних у NannyML.

import nannyml

# Load the dataset
reference, analysis, analysis_gt = nannyml.load_us_census_ma_employment_data()
Моніторинг Machine Learning у Python

Давайте потренуємось!

Моніторинг Machine Learning у Python

Preparing Video For Download...