Policy iteration 與 value iteration

使用 Python 的 Gymnasium 進行強化學習

Fouad Trad

Machine Learning Engineer

Policy iteration

  • 反覆運算以找到最佳策略

顯示第一步：初始化策略的圖片。

使用 Python 的 Gymnasium 進行強化學習

Policy iteration

  • 反覆運算以找到最佳策略

顯示兩個步驟：初始化與評估策略的圖片。

使用 Python 的 Gymnasium 進行強化學習

Policy iteration

  • 反覆運算以找到最佳策略

顯示三個步驟：初始化、評估與改進策略的圖片。

使用 Python 的 Gymnasium 進行強化學習

Policy iteration

  • 反覆運算以找到最佳策略

顯示評估與改進策略會持續重複，直到策略不再改變的圖片。

使用 Python 的 Gymnasium 進行強化學習

Policy iteration

  • 反覆運算以找到最佳策略

顯示 Policy iteration 流程：從初始化策略開始，在評估與改進間交替，最終得到最佳策略的圖片。

使用 Python 的 Gymnasium 進行強化學習

Grid world

policy = {
    0:1, 1:2, 2:1, 
    3:1, 4:3, 5:1,
    6:2, 7:3
}

以箭頭呈現每個狀態動作的策略圖片。

使用 Python 的 Gymnasium 進行強化學習

Policy evaluation

def policy_evaluation(policy):

    V = {state: compute_state_value(state, policy) for state in range(num_states)}

    return V
使用 Python 的 Gymnasium 進行強化學習

Policy improvement

def policy_improvement(policy):

    improved_policy = {s: 0 for s in range(num_states-1)}

    Q = {(state, action): compute_q_value(state, action, policy)
      for state in range(num_states) for action in range(num_actions)}


    for state in range(num_states-1):
        max_action = max(range(num_actions), key=lambda action: Q[(state, action)])
        improved_policy[state] = max_action


    return improved_policy
使用 Python 的 Gymnasium 進行強化學習

Policy iteration

def policy_iteration():

    policy = {0:1, 1:2, 2:1, 3:1, 4:3, 5:1, 6:2, 7:3}

    while True:
        V = policy_evaluation(policy)
        improved_policy = policy_improvement(policy)


        if improved_policy == policy:
            break
        policy = improved_policy


    return policy, V
使用 Python 的 Gymnasium 進行強化學習

最佳策略

policy, V = policy_iteration()
print(policy, V)

{0: 2, 1: 2, 2: 1, 
 3: 1, 4: 2, 5: 1, 
 6: 2, 7: 2} 

{0: 7, 1: 8, 2: 9, 
 3: 7, 4: 9, 5: 10, 
 6: 8, 7: 10, 8: 0}

optimal.png

使用 Python 的 Gymnasium 進行強化學習

Value iteration

  • 在同一步結合策略評估與改進
    • 計算最佳狀態價值函式
    • 由此推得策略

顯示第一步：以 0 初始化狀態價值 V 的圖片。

使用 Python 的 Gymnasium 進行強化學習

Value iteration

  • 在同一步結合策略評估與改進。
    • 計算最佳狀態價值函式
    • 由此推得策略

顯示利用 V 表再計算 Q 值的額外步驟圖片。

使用 Python 的 Gymnasium 進行強化學習

Value iteration

  • 在同一步結合策略評估與改進。
    • 計算最佳狀態價值函式
    • 由此推得策略

顯示在每個狀態選最佳動作來更新 V 的額外步驟圖片。

使用 Python 的 Gymnasium 進行強化學習

Value iteration

  • 在同一步結合策略評估與改進。
    • 計算最佳狀態價值函式
    • 由此推得策略

顯示以 V 計算 Q 並更新 V 的過程會重複，直到 V 不再改變的圖片。

使用 Python 的 Gymnasium 進行強化學習

Value iteration

  • 在同一步結合策略評估與改進。
    • 計算最佳狀態價值函式
    • 由此推得策略

顯示反覆運算完成後，得到最佳策略與 V 的圖片。

使用 Python 的 Gymnasium 進行強化學習

實作 value iteration

V = {state: 0 for state in range(num_states)}
policy = {state:0 for state in range(num_states-1)}
threshold = 0.001


while True:
    new_V = {state: 0 for state in range(num_states)}

    for state in range(num_states-1): 
        max_action, max_q_value = get_max_action_and_value(state, V)

        new_V[state] = max_q_value
        policy[state] = max_action


    if all(abs(new_V[state] - V[state]) < thresh for state in V):
        break
    V = new_V
使用 Python 的 Gymnasium 進行強化學習

取得最佳動作與價值

def get_max_action_and_value(state, V):
    Q_values = [compute_q_value(state, action, V) for action in range(num_actions)]

    max_action = max(range(num_actions), key=lambda a: Q_values[a])

    max_q_value = Q_values[max_action]

    return max_action, max_q_value
使用 Python 的 Gymnasium 進行強化學習

計算 Q 值

def compute_q_value(state, action, V):
    if state == terminal_state:
        return None
    _, next_state, reward, _ = env.P[state][action][0]
    return reward + gamma * V[next_state]
使用 Python 的 Gymnasium 進行強化學習

最佳策略

print(policy, V)

{0: 2, 1: 2, 2: 1, 
 3: 1, 4: 2, 5: 1, 
 6: 2, 7: 2} 

{0: 7, 1: 8, 2: 9, 
 3: 7, 4: 9, 5: 10, 
 6: 8, 7: 10, 8: 0}

顯示最佳策略的狀態價值的圖片。

使用 Python 的 Gymnasium 進行強化學習

一起來練習吧！

使用 Python 的 Gymnasium 進行強化學習

Preparing Video For Download...