Пакетные обновления в policy gradient

Глубокое обучение с подкреплением на Python

Timothée Carayol

Principal Machine Learning Engineer, Komment

Пошаговые и пакетные обновления градиента

Большой прямоугольник, представляющий эпизод.

Пошаговые и пакетные обновления градиента

Внутри большого прямоугольника появляется меньший, обозначающий шаг 1. В нём — ещё один прямоугольник с надписью «выбрать действие».

Пошаговые и пакетные обновления градиента

Внутри прямоугольника шага 1 появляется ещё один маленький прямоугольник с надписью «обновить среду».

Пошаговые и пакетные обновления градиента

Под прямоугольником шага 1 появляется ещё один прямоугольник с надписями «вычислить потери» и «градиентный спуск».

Пошаговые и пакетные обновления градиента

Аналогичная пара прямоугольников появляется для второго шага с тем же содержимым.

Пошаговые и пакетные обновления градиента

Появляются шаг 3 и шаг 4.

Пакетные обновления A2C / PPO

Большой прямоугольник эпизода; в его левой половине — прямоугольник «роллаут 1» с двумя вложенными прямоугольниками «шаг 1» и «шаг 2».

Пакетные обновления A2C / PPO

Внутри прямоугольника шага 1 появляются надписи «выбрать действие» и «обновить среду».

Пакетные обновления A2C / PPO

То же самое для шага 2.

Пакетные обновления A2C / PPO

Под прямоугольниками шагов 1 и 2 появляются единые надписи «вычислить потери» и «градиентный спуск».

Пакетные обновления A2C / PPO

Оставшуюся половину прямоугольника эпизода занимает аналогичный прямоугольник с двумя шагами — «роллаут 2».

Цикл обучения A2C с пакетными обновлениями

# Set rollout length
rollout_length = 10

# Initiate loss batches

actor_losses = torch.tensor([])
critic_losses = torch.tensor([])

Инициализируем пакеты потерь
Обычным образом итерируем по эпизодам и шагам

for episode in range(10):
  state, info = env.reset()
  done = False
  while not done:
    action, action_log_prob = select_action(actor, 
                                            state)                
    next_state, reward, terminated, truncated, _ = (
                                   env.step(action))
    done = terminated or truncated    
    actor_loss, critic_loss = calculate_losses(
        critic, action_log_prob, 
        reward, state, next_state, done)
    ...

Цикл обучения A2C с пакетными обновлениями

  ...
  actor_losses = torch.cat((actor_losses, actor_loss))
  critic_losses = torch.cat((critic_losses, critic_loss))


  # If rollout is full, update the networks
  if len(actor_losses) >= rollout_length:

    actor_loss_batch = actor_losses.mean()
    critic_loss_batch = critic_losses.mean()

    actor_optimizer.zero_grad()
    actor_loss_batch.backward()
    actor_optimizer.step()
    critic_optimizer.zero_grad()
    critic_loss_batch.backward()
    critic_optimizer.step()

    actor_losses = torch.tensor([])
    critic_losses = torch.tensor([])


  state = next_state

Добавляем потери шага в пакеты потерь
Когда роллаут заполнен:
- Вычисляем среднее по пакету с помощью .mean()
- Выполняем градиентный спуск
- Сбрасываем пакеты потерь

Пакетные обновления в policy gradient

Пошаговые и пакетные обновления градиента

Пошаговые и пакетные обновления градиента

Пошаговые и пакетные обновления градиента

Пошаговые и пакетные обновления градиента

Пошаговые и пакетные обновления градиента

Пошаговые и пакетные обновления градиента

Пакетные обновления A2C / PPO

Пакетные обновления A2C / PPO

Пакетные обновления A2C / PPO

Пакетные обновления A2C / PPO

Пакетные обновления A2C / PPO

Цикл обучения A2C с пакетными обновлениями

Цикл обучения A2C с пакетными обновлениями

A2C / PPO с несколькими агентами

Роллауты и минибатчи

PPO с несколькими эпохами

Давайте потренируемся!