Автоматичне налаштування гіперпараметрів

Повністю автоматизований MLOps

Arturo Opsetmoen Amador

Senior Consultant - Machine Learning

Що таке гіперпараметр?

Гіперпараметри — це налаштовувані значення, що керують навчанням

  • Не вивчаються під час тренування
  • Задаються перед тренуванням ML‑моделі

$$

Приклади:

  • Архітектура моделі в нейронній мережі
  • Кількість гілок у дереві рішень
  • Швидкість навчання
Повністю автоматизований MLOps

Що таке налаштування гіперпараметрів?

Зображення: дата‑саєнтист налаштовує гіперпараметри в нейронній мережі. Під час тренування налаштовуються параметри, що вивчаються. Різні комбінації дають різні бали.

Повністю автоматизований MLOps

Методи налаштування гіперпараметрів

  • Grid Search

$$

$$

  • Random Search

$$

$$

  • Bayesian Optimization

Анімація grid search: впорядкований пошук.

Анімація random search: випадковий пошук.

Bayesian optimization: «розумний» пошук.

Повністю автоматизований MLOps

Автоматизуйте налаштування гіперпараметрів

Зображення: «двигун» досліджує комбінації гіперпараметрів.

Повністю автоматизований MLOps

Кроки автоматизованого налаштування гіперпараметрів

  • Потрібно визначити:
    • Набір гіперпараметрів для оптимізації
    • Простір пошуку для кожного параметра
    • Метрику продуктивності для оптимізації
    • Критерії зупинки

Зображення процесу: визначити гіперпараметри для оптимізації, простір пошуку для кожного, ціль оптимізації, критерії зупинки. Унизу все працює завдяки методу налаштування гіперпараметрів.

Повністю автоматизований MLOps

Автоматичний пошук найкращого набору гіперпараметрів

$$

Попереднє зображення процесу розширено. Унизу знайдено найкращий набір гіперпараметрів.

Повністю автоматизований MLOps

Гіперпараметри та симетрія середовищ

$$

Зображення симетрії середовищ. Той самий налаштований набір гіперпараметрів використовується у розробці й експериментах та в продакшені.

Повністю автоматизований MLOps

Налаштування гіперпараметрів — Відстеження експериментів

Зображення процесу автоматичного налаштування гіперпараметрів. Нагорі система відстеження експериментів збирає метадані, зокрема використані гіперпараметри. Ці метадані зберігаються у сховищі метаданих.

Повністю автоматизований MLOps

Приклад — Візуалізація гіперпараметрів

Приклад засобу для візуалізації налаштування гіперпараметрів.

Повністю автоматизований MLOps

Давайте потренуємось!

Повністю автоматизований MLOps

Preparing Video For Download...