Aktualizacje wsadowe w gradiencie strategii

Głębokie uczenie ze wzmocnieniem w Pythonie

Timothée Carayol

Principal Machine Learning Engineer, Komment

Aktualizacje krokowe vs. wsadowe

Duże pole reprezentujące epizod.

Aktualizacje krokowe vs. wsadowe

W dużym polu pojawia się mniejsze pole reprezentujące krok 1. Wewnątrz niego kolejne pole z tekstem 'wybierz akcję'.

Aktualizacje krokowe vs. wsadowe

W polu kroku 1 pojawia się kolejne małe pole z tekstem 'iteruj środowisko'

Aktualizacje krokowe vs. wsadowe

Pod polem kroku 1 pojawia się kolejne pole z etykietami 'oblicz stratę' i 'zejście gradientowe'

Aktualizacje krokowe vs. wsadowe

Dla drugiego kroku pojawia się identyczna para pól z tą samą zawartością

Aktualizacje krokowe vs. wsadowe

Pojawiają się również kroki 3 i 4.

Grupowanie aktualizacji A2C / PPO

Duże pole epizodu; zajmując jego połowę, pole oznaczone 'rollout 1'; wewnątrz dwa puste pola oznaczone 'krok 1' i 'krok 2'

Grupowanie aktualizacji A2C / PPO

W polu kroku 1 pojawiają się etykiety 'wybierz akcję' i 'iteruj środowisko'.

Grupowanie aktualizacji A2C / PPO

To samo dla kroku 2.

Grupowanie aktualizacji A2C / PPO

Pod polami kroku 1 i kroku 2 pojawia się pojedyncza etykieta 'oblicz stratę' i pojedyncza etykieta 'zejście gradientowe'.

Grupowanie aktualizacji A2C / PPO

Pozostała połowa obszaru epizodu zajęta jest przez kolejne identyczne pole rollout z dwoma krokami, oznaczone 'rollout 2'.

Pętla treningowa A2C z aktualizacjami wsadowymi

# Set rollout length
rollout_length = 10

# Initiate loss batches

actor_losses = torch.tensor([])
critic_losses = torch.tensor([])

Zainicjuj partie strat
Iteruj przez epizody i kroki jak zwykle

for episode in range(10):
  state, info = env.reset()
  done = False
  while not done:
    action, action_log_prob = select_action(actor, 
                                            state)                
    next_state, reward, terminated, truncated, _ = (
                                   env.step(action))
    done = terminated or truncated    
    actor_loss, critic_loss = calculate_losses(
        critic, action_log_prob, 
        reward, state, next_state, done)
    ...

Pętla treningowa A2C z aktualizacjami wsadowymi

  ...
  actor_losses = torch.cat((actor_losses, actor_loss))
  critic_losses = torch.cat((critic_losses, critic_loss))


  # If rollout is full, update the networks
  if len(actor_losses) >= rollout_length:

    actor_loss_batch = actor_losses.mean()
    critic_loss_batch = critic_losses.mean()

    actor_optimizer.zero_grad()
    actor_loss_batch.backward()
    actor_optimizer.step()
    critic_optimizer.zero_grad()
    critic_loss_batch.backward()
    critic_optimizer.step()

    actor_losses = torch.tensor([])
    critic_losses = torch.tensor([])


  state = next_state

Dodaj stratę kroku do partii strat
Gdy rollout jest pełny:
- Oblicz średnią stratę partii za pomocą .mean()
- Wykonaj zejście gradientowe
- Zresetuj partie strat

Aktualizacje wsadowe w gradiencie strategii

Aktualizacje krokowe vs. wsadowe

Aktualizacje krokowe vs. wsadowe

Aktualizacje krokowe vs. wsadowe

Aktualizacje krokowe vs. wsadowe

Aktualizacje krokowe vs. wsadowe

Aktualizacje krokowe vs. wsadowe

Grupowanie aktualizacji A2C / PPO

Grupowanie aktualizacji A2C / PPO

Grupowanie aktualizacji A2C / PPO

Grupowanie aktualizacji A2C / PPO

Grupowanie aktualizacji A2C / PPO

Pętla treningowa A2C z aktualizacjami wsadowymi

Pętla treningowa A2C z aktualizacjami wsadowymi

A2C / PPO z wieloma agentami

Rollouty i minibatche

PPO z wieloma epokami

Czas na ćwiczenia!