Сховище метаданих

Повністю автоматизований MLOps

Arturo Opsetmoen Amador

Senior Consultant - Machine Learning

Що таке метадані в MLOps?

  • Метадані — це інформація про артефакти,
    • створені під час виконання різних компонентів конвеєра ML

Показано конвеєр машинного навчання: вилучення даних, валідація даних, тренування моделі, оцінювання моделі та валідація моделі.

Приклади метаданих:

  • Версіонування даних: зберігаються різні версії тих самих даних
  • Метадані про артефакти тренування, наприклад гіперпараметри
  • Журнали виконання конвеєра
1 https://datacentricai.org/
Повністю автоматизований MLOps

Важливі аспекти метаданих у ML

$$

  • Походження даних (data lineage)

  • Відтворюваність

  • Моніторинг

  • Вимоги регуляторів

Повністю автоматизований MLOps

Важливість метаданих — Походження даних

  • Метадані про походження даних відстежують інформацію про дані:

    • від точки створення
    • до точок споживання

Ілюстрація концепції походження даних: показано, як дані трансформуються кількома процесами між джерелом і споживанням.

Повністю автоматизований MLOps

Важливість метаданих — Відтворюваність

  • Метадані про наші експерименти з ML:
    • Дають змогу іншим відтворити результати
    • Підвищують довіру до наших ML-систем
    • Додають наукової строгості до процесу ML

Ілюстрація відтворюваності: серія науковців спостерігають один за одним у телескоп, щоб відтворити роботу колег.

Повністю автоматизований MLOps

Важливість метаданих — Моніторинг

  • Це дає інженерам ML змогу
    • Відстежувати виконання різних частин конвеєра MLOps
    • Перевіряти стан ML-системи будь-коли
Повністю автоматизований MLOps

Приклад інструмента моніторингу

Приклад дашборду моніторингу з різними метриками для запущеної системи MLOps.

1 https://cloud.google.com/stackdriver/docs/solutions/gke/observing
Повністю автоматизований MLOps

Сховище метаданих

  • Централізоване місце для керування всіма метаданими MLOps про:

    • експерименти (журнали)
    • артефакти
    • моделі
    • конвеєри

  • Має інтерфейс, який дає змогу:

    • читати й записувати всі метадані, пов'язані з моделями

Ілюстрація сховища метаданих: централізоване сховище, до якого звертаються різні учасники та процеси.

1 https://cloud.google.com/architecture/mlops-continuous-delivery-and-automation-pipelines-in-machine-learning
Повністю автоматизований MLOps

Сховище метаданих в архітектурі MLOps

Архітектура повністю автоматизованого MLOps, що показує центральну роль сховища метаданих у процесі.

Повністю автоматизований MLOps

Сховище метаданих у повністю автоматизованому MLOps

Воно забезпечує автоматичний моніторинг роботи повністю автоматизованого конвеєра MLOps

  • Сприяє автоматичному реагуванню на інциденти. Наприклад,

    • Автоматичне повторне тренування моделі
    • Автоматичні відкатування

Графік повторного тренування моделі, запущеного через дрейф у ML-системі: по осі x — час, по осі y — продуктивність; криві зниження і точки «виявлено дрейф».

Повністю автоматизований MLOps

Давайте потренуємось!

Повністю автоматизований MLOps

Preparing Video For Download...