Еталонна архітектура: повністю автоматизований MLOps

Повністю автоматизований MLOps

Arturo Opsetmoen Amador

Senior Consultant - Machine Learning

Що таке еталонна архітектура?

$$

Еталонна архітектура — це шаблон для проєктування рішень у різних ІТ-доменах.

Набір документів із:

  • Структурами та інтеграціями ІТ-елементів

  • Шаблонами, поширеними в ІТ‑системах, зокрема в ML‑системах

  • Використанням досвіду та найкращих практик індустрії

Повністю автоматизований MLOps

Архітектура повністю автоматизованого MLOps

Загальний огляд еталонної архітектури повністю автоматизованого MLOps.

1 https://cloud.google.com/architecture/mlops-continuous-delivery-and-automation-pipelines-in-machine-learning
Повністю автоматизований MLOps

Еталонна архітектура — Оркестровані експерименти

Загальний огляд еталонної архітектури повністю автоматизованого MLOps. Збільшення фрагмента з підключеними блоками: зліва направо — аналіз даних, оркестрований експеримент, вихідний код, репозиторій коду.

Повністю автоматизований MLOps

Еталонна архітектура — Вихідний код і CI

Зсув зображення ліворуч. Після репозиторію коду показано блок безперервної інтеграції з етапом збірки, що створює пакунки.

Повністю автоматизований MLOps

Еталонна архітектура — Артефакти і CD

Зображення зміщується вниз, щоб показати блок безперервної доставки.

Повністю автоматизований MLOps

Еталонна архітектура — Розгортання ML‑конвеєра

Зображення зсувається ліворуч і показує автоматизований ML‑конвеєр із кроками: вилучення даних, валідація даних, підготовка даних, навчання моделі, оцінювання моделі, валідація моделі.

Повністю автоматизований MLOps

Еталонна архітектура — Сховище метаданих

Зображення зміщується вниз і показує Metadata Store, що збирає журнали, згенеровані ML‑конвеєром.

Повністю автоматизований MLOps

Еталонна архітектура — Реєстр моделей

Зображення зміщується вгору та вправо, показуючи, що моделі, навчені ML‑конвеєром, публікуються в реєстрі моделей.

Повністю автоматизований MLOps

Еталонна архітектура — Сервіси передбачень

Зображення зміщується вниз і показує, що моделі, навчені ML‑конвеєром, безперервно доставляються до модуля сервісу передбачень.

Повністю автоматизований MLOps

Еталонна архітектура — Безперервний моніторинг

Зображення зміщується ліворуч і показує компонент моніторингу продуктивності, що відстежує якість передбачень сервісу.

Повністю автоматизований MLOps

Еталонна архітектура — Автоматичний тригер

Зображення ще більше зміщується ліворуч і показує компонент тригера, підключений до модуля моніторингу продуктивності.

Повністю автоматизований MLOps

Еталонна архітектура — Автоматичне перенавчання

Зображення зміщується вгору і показує, що тригер може запускати автоматизований ML‑конвеєр у системі.

Повністю автоматизований MLOps

Еталонна архітектура

Зображення віддаляється, щоб показати загальний огляд повної еталонної архітектури.

Повністю автоматизований MLOps

Еталонна архітектура — Feature Store

Загальний огляд еталонної архітектури повністю автоматизованого MLOps. Збільшення компонента Feature Store.

Повністю автоматизований MLOps

Еталонна архітектура — Feature Store

Зображення зміщується вниз і показує, що Feature Store також постачає дані до автоматизованого ML‑конвеєра в середовищах staging, preproduction, production.

Повністю автоматизований MLOps

Еталонна архітектура — Feature Store

Збільшення компонента Feature Store. Цей компонент постачає дані до модуля оркестрований експеримент у середовищах експериментів і розробки.

Повністю автоматизований MLOps

Еталонна архітектура — Feature Store

Збільшення компонента Feature Store. Цей компонент постачає дані до сервісу передбачень у системі.

Повністю автоматизований MLOps

Архітектура повністю автоматизованого MLOps

Загальний огляд еталонної архітектури повністю автоматизованого MLOps.

Повністю автоматизований MLOps

Давайте потренуємось!

Повністю автоматизований MLOps

Preparing Video For Download...