Proximální optimalizace politiky

Deep Reinforcement Learning v Pythonu

Timothée Carayol

Principal Machine Learning Engineer, Komment

A2C

  • Aktualizace politiky A2C:
    • Vychází z nestabilních odhadů
    • Mohou být velké a nestabilní
  • Může zhoršit výkon

Rover na Marsu leží rozbití po nehodě v náročném terénu

PPO

  • PPO omezuje velikost každé aktualizace politiky
  • Zvyšuje stabilitu

Rover na Marsu spokojeně jezdí po povrchu Marsu

Deep Reinforcement Learning v Pythonu

Poměr pravděpodobností

  • Hlavní inovace PPO: nová účelová funkce
  • Jádrem je:

Poměr pravděpodobností: poměr pravděpodobnosti akce podle nové politiky a pravděpodobnosti podle staré politiky, označený r_t

  • O kolik je akce $a_t$ pravděpodobnější s $\theta$ než s $\theta_{old}$?

 

  ratio = action_log_prob.exp() / 
          old_action_log_prob.exp().detach()

  # Or equivalently
  ratio = torch.exp(action_log_prob - 
          old_action_log_prob.detach())
  • detach jmenovatele zabraňuje propagaci gradientu
Deep Reinforcement Learning v Pythonu

Oříznutí poměru pravděpodobností

 

  • Funkce clip:

Graf funkce clip(x, 0.8, 1.2) pro x od 0,6 do 1,4; funkce je rovna 0,8 pro x < 0,8; x pro x mezi 0,8 a 1,2; 1,2 pro x > 1,2.

Oříznutý poměr pravděpodobností je clip(r_t, 1-epsilon, 1+epsilon)

 

 

clipped_ratio = torch.clamp(ratio,
                            1-epsilon, 
                            1+epsilon)
Deep Reinforcement Learning v Pythonu

Funkce calculate_ratios

 

def calculate_ratios(action_log_prob, action_log_prob_old, epsilon):

    prob = action_log_prob.exp()
    prob_old = action_log_prob_old.exp()
    prob_old_detached = prob_old.detach()
    ratio = prob / prob_old_detached
    clipped_ratio = torch.clamp(ratio, 1-epsilon, 1+epsilon)

    return (ratio, clipped_ratio)

Example with epsilon = .2:

        Ratio: tensor(1.25)

Clipped ratio: tensor(1.20)
Deep Reinforcement Learning v Pythonu

Účelová funkce PPO

 

J surr = E_t(r_t * advantage)

surr1 = ratio * td_error.detach()

surr2 = clipped_ratio * td_error.detach()

objective = torch.min(surr1, surr2)

 

  • Surrogát s oříznutým poměrem:

$$\mathrm{clip}(r_t(\theta),1-\varepsilon,1+\varepsilon)\hat{A}$$

  • Oříznutá surrogátní účelová funkce PPO:

Oříznutá surrogátní účelová funkce: očekávaná hodnota minima z poměr * výhoda a oříznutý poměr * výhoda.

  • Stabilnější než A2C
Deep Reinforcement Learning v Pythonu

Výpočet ztrát PPO

 

def calculate_losses(critic_network, 
                     action_log_prob,                                        
                     action_log_prob_old,
                     reward, state, next_state,
                     done
                     ):

    # calculate TD error (same as A2C)
    value = critic_network(state)
    next_value = critic_network(next_state)
    td_target = (reward + 
                 gamma * next_value * (1-done))
    td_error = td_target - value
    ...

 

    ...
    ratio, clipped_ratio = 
            calculate_ratios(action_log_prob, 
                             action_log_prob_old,
                             epsilon)

    surr1 = ratio * td_error.detach()

    surr2 = clipped_ratio * td_error.detach()

    objective = torch.min(surr1, surr2)

    actor_loss = -objective

    critic_loss = td_error ** 2

    return actor_loss, critic_loss
Deep Reinforcement Learning v Pythonu

Pojďme procvičovat!

Deep Reinforcement Learning v Pythonu

Preparing Video For Download...