Проксимальная оптимизация политики

Глубокое обучение с подкреплением на Python

Timothée Carayol

Principal Machine Learning Engineer, Komment

A2C

Обновления политики A2C:
- Основаны на нестабильных оценках
- Могут быть большими и нестабильными
Могут ухудшать производительность

Марсоход сломан после аварии на пересечённой местности

PPO

PPO ограничивает размер каждого обновления политики
Повышает стабильность

Марсоход уверенно движется по поверхности Марса

Вероятностное отношение

Главное новшество PPO: новая целевая функция
В её основе:

Вероятностное отношение: отношение вероятности действия по новой политике к вероятности по старой политике, обозначается r_t

Насколько действие $a_t$ более вероятно при $\theta$, чем при $\theta_{old}$?

  ratio = action_log_prob.exp() / 
          old_action_log_prob.exp().detach()

  # Or equivalently
  ratio = torch.exp(action_log_prob - 
          old_action_log_prob.detach())

detach знаменателя предотвращает распространение градиента

Клиппирование вероятностного отношения

Функция клиппирования:

График clip(x, 0.8, 1.2) при x от 0,6 до 1,4: функция равна 0,8 при x < 0,8; x при x от 0,8 до 1,2; 1,2 при x > 1,2.

Клиппированное вероятностное отношение: clip(r_t, 1-epsilon, 1+epsilon)

clipped_ratio = torch.clamp(ratio,
                            1-epsilon, 
                            1+epsilon)

Функция calculate_ratios

def calculate_ratios(action_log_prob, action_log_prob_old, epsilon):

    prob = action_log_prob.exp()
    prob_old = action_log_prob_old.exp()
    prob_old_detached = prob_old.detach()
    ratio = prob / prob_old_detached
    clipped_ratio = torch.clamp(ratio, 1-epsilon, 1+epsilon)

    return (ratio, clipped_ratio)

Example with epsilon = .2:

        Ratio: tensor(1.25)

Clipped ratio: tensor(1.20)

Целевая функция PPO

J surr = E_t(r_t * advantage)

surr1 = ratio * td_error.detach()

surr2 = clipped_ratio * td_error.detach()

objective = torch.min(surr1, surr2)

Суррогат с клиппированным отношением:

$$\mathrm{clip}(r_t(\theta),1-\varepsilon,1+\varepsilon)\hat{A}$$

Клиппированная суррогатная целевая функция PPO:

Клиппированная суррогатная целевая функция: математическое ожидание минимума из произведения отношения на преимущество и произведения клиппированного отношения на преимущество.

Более стабильна, чем A2C

Вычисление функции потерь PPO

def calculate_losses(critic_network, 
                     action_log_prob,                                        
                     action_log_prob_old,
                     reward, state, next_state,
                     done
                     ):

    # calculate TD error (same as A2C)
    value = critic_network(state)
    next_value = critic_network(next_state)
    td_target = (reward + 
                 gamma * next_value * (1-done))
    td_error = td_target - value
    ...

    ...
    ratio, clipped_ratio = 
            calculate_ratios(action_log_prob, 
                             action_log_prob_old,
                             epsilon)

    surr1 = ratio * td_error.detach()

    surr2 = clipped_ratio * td_error.detach()

    objective = torch.min(surr1, surr2)

    actor_loss = -objective

    critic_loss = td_error ** 2

    return actor_loss, critic_loss

Давайте потренируемся!

Глубокое обучение с подкреплением на Python