Сховище ознак в автоматизованій архітектурі MLOps

Повністю автоматизований MLOps

Arturo Opsetmoen Amador

Senior Consultant - Machine Learning

Ознаки в машинному навчанні

$$

Інженерія ознак

Вибирайте, обробляйте та перетворюйте сирі джерела даних, щоб створювати ознаки для вхідних даних наших ML-алгоритмів

Зображення працівника в костюмі поруч із аркушами паперу та шестернями, що символізують процес обробки даних.

$$

Приклади:

  • Числові перетворення
  • Кодування категорій
  • Групування значень
  • Побудова нових ознак
Повністю автоматизований MLOps

Інженерія ознак в організації

$$

Схема архітектури з пакетними та потоковими джерелами даних, які команда дата-сайєнтистів споживає та перетворює у типовому процесі інженерії ознак.

Повністю автоматизований MLOps

Інженерія ознак в організації

$$

Така ж схема архітектури, але з додатковою командою, що споживає ті самі джерела даних і працює у власному «сайло» над інженерією ознак.

Повністю автоматизований MLOps

Інженерія ознак в організації

$$

Продовження попередньої ілюстрації: третя команда споживає ті самі джерела даних і працює з інженерією ознак у власному «сайло».

Повністю автоматизований MLOps

Сховище ознак

$$

  • Централізоване сховище ознак

  • Уникнення дублювання завдяки автоматизації

  • Стандартизація перетворень

  • Централізоване зберігання

  • Подавання ознак для пакетної та потокової обробки

$$

Схема архітектури, де джерела даних надходять у сховище ознак. Усередині нього дані перетворюються, створені ознаки зберігаються, а також подаються далі.

Повністю автоматизований MLOps

Сховище ознак — прискорені експерименти

$$

  • Прискорені експерименти
    • Вибірки даних для експериментів
    • Пошук наявних ознак
    • Уникає кількох визначень однакових ознак

$$

Схема архітектури. Сховище ознак розташоване горизонтально та постачає ознаки до оркестрованих експериментів у середовищі Experimentation and Development.

Повністю автоматизований MLOps

Сховище ознак — безперервне тренування

$$

  • Безперервне тренування (CT)
    • Вибірки даних для автоматизованих конвеєрів у продакшні

$$

Схема архітектури. Сховище ознак розташоване горизонтально. Воно постачає дані до компонента безперервного тренування в середовищах staging/production.

Повністю автоматизований MLOps

Сховище ознак — онлайн-прогнозування

$$

  • Онлайн-прогнозування
    • Використовуйте наперед визначені ознаки для сервісів прогнозування

$$

Схема архітектури. Сховище ознак розташоване горизонтально. Воно подає ознаки сервісу прогнозування в системі.

Повністю автоматизований MLOps

Сховище ознак — симетрія середовищ

$$

  • Уникає різниці між тренуванням і подаванням

$$

Схема архітектури. Сховище ознак розташоване горизонтально. Воно постачає ознаки до оркестрованих конвеєрів, безперервного тренування та сервісів прогнозування в усіх середовищах.

Повністю автоматизований MLOps

Давайте потренуємось!

Повністю автоматизований MLOps

Preparing Video For Download...