Expected SARSA

Uczenie przez wzmacnianie z Gymnasium w Pythonie

Fouad Trad

Machine Learning Engineer

Expected SARSA

Metoda TD
Technika bezmodelowa
Aktualizuje tablicę Q inaczej niż SARSA i Q-learning

Diagram przedstawiający kroki Expected SARSA: inicjalizację tablicy Q, wybór akcji, otrzymanie nagrody ze środowiska i aktualizację tablicy. Agent powtarza pętlę aż do zbieżności po określonej liczbie epizodów.

Aktualizacja Expected SARSA

SARSA

Obraz przedstawiający matematyczny wzór reguły aktualizacji SARSA.

Q-learning

Obraz przedstawiający matematyczny wzór reguły aktualizacji Q-learning.

Expected SARSA

Obraz przedstawiający matematyczny wzór reguły aktualizacji Expected SARSA.

Oczekiwana wartość następnego stanu

Obraz przedstawiający matematyczny wzór reguły aktualizacji Expected SARSA.

Uwzględnia wszystkie akcje

Obraz przedstawiający wzór na oczekiwaną wartość Q dla następnego stanu.

Losowe akcje → równe prawdopodobieństwa

Obraz przedstawiający wzór na oczekiwaną wartość Q dla następnego stanu, gdy akcje są wybierane losowo z równymi prawdopodobieństwami.

Implementacja z Frozen Lake

env = gym.make('FrozenLake-v1', 
               is_slippery=False)

num_states = env.observation_space.n
num_actions = env.action_space.n
Q = np.zeros((num_states, num_actions))


gamma = 0.99
alpha = 0.1
num_episodes = 1000

Obraz przedstawiający środowisko Frozen Lake.

Reguła aktualizacji Expected SARSA

def update_q_table(state, action, next_state, reward):

    expected_q = np.mean(Q[next_state])

    Q[state, action] = (1-alpha) * Q[state, action] 
                       + alpha * (reward + gamma * expected_q)

Obraz przedstawiający matematyczny wzór reguły aktualizacji Expected SARSA.

Trenowanie

for i in range(num_episodes):
    state, info = env.reset()    
    terminated = False  

    while not terminated: 
        action = env.action_space.sample()

        next_state, reward, terminated, truncated, info = env.step(action)

        update_q_table(state, action, next_state, reward)
        state = next_state

Polityka agenta

policy = {state: np.argmax(Q[state]) 
          for state in range(num_states)}
print(policy)

{ 0: 1,  1: 2,  2: 1,  3: 0, 
  4: 1,  5: 0,  6: 1,  7: 0, 
  8: 2,  9: 2, 10: 1, 11: 0, 
 12: 0, 13: 2, 14: 2, 15: 0}

Obraz przedstawiający politykę wyuczoną przez agenta – wskazuje akcję do wykonania w każdym stanie.

Czas na ćwiczenia!

Uczenie przez wzmacnianie z Gymnasium w Pythonie