Expected SARSA

Reinforcement Learning med Gymnasium i Python

Fouad Trad

Machine Learning Engineer

Expected SARSA

  • TD-metod
  • Modellfri teknik
  • Uppdaterar Q-tabellen på ett annat sätt än SARSA och Q-learning

Diagram som visar stegen i expected SARSA: initiering av en Q-tabell, val av åtgärd, mottagning av belöning från miljön och uppdatering av tabellen. Agenten fortsätter loopen tills konvergens uppnås efter ett visst antal episoder.

Reinforcement Learning med Gymnasium i Python

Uppdateringsregel för expected SARSA

SARSA

Bild som visar den matematiska formeln för SARSA:s uppdateringsregel.

Q-learning

Bild som visar den matematiska formeln för Q-learnings uppdateringsregel.

Expected SARSA

Bild som visar den matematiska formeln för expected SARSA:s uppdateringsregel.

Reinforcement Learning med Gymnasium i Python

Förväntat värde för nästa tillstånd

Bild som visar den matematiska formeln för expected SARSA:s uppdateringsregel.

  • Tar hänsyn till alla åtgärder

Bild som visar den matematiska formeln för det förväntade Q-värdet för nästa tillstånd.

  • Slumpmässiga åtgärder → lika sannolikheter

Bild som visar den matematiska formeln för det förväntade Q-värdet för nästa tillstånd när åtgärder väljs slumpmässigt med lika sannolikheter.

Reinforcement Learning med Gymnasium i Python

Implementering med Frozen Lake

env = gym.make('FrozenLake-v1', 
               is_slippery=False)

num_states = env.observation_space.n
num_actions = env.action_space.n
Q = np.zeros((num_states, num_actions))


gamma = 0.99
alpha = 0.1
num_episodes = 1000

Bild som visar Frozen Lake-miljön

Reinforcement Learning med Gymnasium i Python

Uppdateringsregel för expected SARSA

def update_q_table(state, action, next_state, reward):

    expected_q = np.mean(Q[next_state])

    Q[state, action] = (1-alpha) * Q[state, action] 
                       + alpha * (reward + gamma * expected_q)

Bild som visar den matematiska formeln för expected SARSA:s uppdateringsregel.

Reinforcement Learning med Gymnasium i Python

Träning

for i in range(num_episodes):
    state, info = env.reset()    
    terminated = False  

    while not terminated: 
        action = env.action_space.sample()

        next_state, reward, terminated, truncated, info = env.step(action)

        update_q_table(state, action, next_state, reward)
        state = next_state
Reinforcement Learning med Gymnasium i Python

Agentens policy

policy = {state: np.argmax(Q[state]) 
          for state in range(num_states)}
print(policy)

{ 0: 1,  1: 2,  2: 1,  3: 0, 
  4: 1,  5: 0,  6: 1,  7: 0, 
  8: 2,  9: 2, 10: 1, 11: 0, 
 12: 0, 13: 2, 14: 2, 15: 0}

Bild som visar den policy agenten lärt sig, med vilken åtgärd som ska utföras i varje tillstånd.

Reinforcement Learning med Gymnasium i Python

Nu kör vi en övning!

Reinforcement Learning med Gymnasium i Python

Preparing Video For Download...