Основи навчання з підкріпленням

Reinforcement Learning з Gymnasium у Python

Fouad Trad

Machine Learning Engineer

Навчання з підкріпленням

 

  • Агент навчається методом спроб і помилок

 

Зображення двох іконок: агента та середовища.

Reinforcement Learning з Gymnasium у Python

Навчання з підкріпленням

 

  • Агент навчається методом спроб і помилок

 

Зображення: середовище надає агенту спостереження.

Reinforcement Learning з Gymnasium у Python

Навчання з підкріпленням

 

  • Агент навчається методом спроб і помилок

 

Зображення: середовище надає агенту спостереження, після чого агент виконує дії.

Reinforcement Learning з Gymnasium у Python

Навчання з підкріпленням

 

  • Агент навчається методом спроб і помилок
  • Агент отримує:
    • Винагороди за вдалі рішення
    • Штрафи за хибні рішення
  • Мета: максимально збільшити позитивний зворотний зв'язок з часом

 

Зображення: середовище надає агенту спостереження; агент виконує дії й отримує винагороди або штрафи залежно від дій.

Reinforcement Learning з Gymnasium у Python

RL як дресирування улюбленця

Зображення: літній чоловік (середовище) дресирує хатнього улюбленця (агента).

Reinforcement Learning з Gymnasium у Python

RL vs інші типи ML

Зображення таблиці з назвою "Supervised Learning": тип даних — розмічені; мета — прогнозувати результати за вхідними даними; підходить для класифікації та регресії.

Reinforcement Learning з Gymnasium у Python

RL vs інші типи ML

Зображення таблиці, що порівнює Supervised Learning та Unsupervised Learning. Для Supervised: тип даних — розмічені; мета — прогноз за вхідними; підходить для класифікації й регресії. Для Unsupervised: тип даних — нерозмічені; мета — виявляти приховані закономірності чи зв'язки; підходить для кластеризації та пошуку асоціацій.

Reinforcement Learning з Gymnasium у Python

RL vs інші типи ML

Зображення таблиці з доданим RL до порівняння з Supervised та Unsupervised Learning. Supervised: розмічені дані для прогнозування, класифікація й регресія. Unsupervised: нерозмічені дані для виявлення закономірностей, кластеризація й пошук асоціацій. RL не потребує наперед визначених тренувальних даних; фокусується на виборі дій для максимізації винагород від середовища; підходить для задач ухвалення рішень.

Reinforcement Learning з Gymnasium у Python

Коли варто використовувати RL?

 

  • Послідовне ухвалення рішень
    • Рішення впливають на майбутні спостереження
  • Навчання через винагороди та штрафи
    • Без прямого нагляду

Іконка робота

Reinforcement Learning з Gymnasium у Python

Доречно для RL: гра в відеоігри

  • Гравець послідовно ухвалює рішення
  • Отримує бали й втрачає життя залежно від дій

Зображення сцени з відеогри, де агент ухвалює рішення.

Reinforcement Learning з Gymnasium у Python

Недоречно для RL: розпізнавання об'єктів у грі

  • Немає послідовного ухвалення рішень
  • Немає взаємодії із середовищем

Зображення кадру з відеогри, де мета — розпізнати різні види покемонів.

Reinforcement Learning з Gymnasium у Python

Застосування RL

Робототехніка
  • Ходіння робота
  • Маніпуляція об'єктами

Зображення роботизованої руки.

Reinforcement Learning з Gymnasium у Python

Застосування RL

Робототехніка
  • Ходіння робота
  • Маніпуляція об'єктами

Зображення роботизованої руки.

Фінанси
  • Оптимізація трейдингу та інвестування
  • Максимізація прибутку

Зображення: велика сума грошей вилітає з відкритого портфеля на синьому тлі — ідея фінансового успіху.

Reinforcement Learning з Gymnasium у Python

Застосування RL

Автономні транспортні засоби
  • Підвищення безпеки та ефективності
  • Зменшення ризику аварій

Зображення кількох автономних авто на дорозі.

Reinforcement Learning з Gymnasium у Python

Застосування RL

Автономні транспортні засоби
  • Підвищення безпеки та ефективності
  • Зменшення ризику аварій

Зображення кількох автономних авто на дорозі.

Розробка чатботів
  • Поліпшення розмовних навичок
  • Кращий досвід користувачів

Зображення розмовного чатбота.

Reinforcement Learning з Gymnasium у Python

Що далі?

У цьому курсі ви:

  • Розберетеся з основами та принципами RL
  • Навчитеся визначати, формулювати й розв'язувати задачі RL
  • Попрактикуєтесь із Gymnasium

Зображення логотипа Gymnasium.

Reinforcement Learning з Gymnasium у Python

Давайте потренуємось!

Reinforcement Learning з Gymnasium у Python

Preparing Video For Download...