Wielorękie bandyty

Uczenie przez wzmacnianie z Gymnasium w Pythonie

Fouad Trad

Machine Learning Engineer

Wielorękie bandyty

Gracz stojący przed automatami do gry
Wyzwanie → maksymalizacja wygranych
Rozwiązanie → eksploracja-eksploatacja

Obraz przedstawiający mężczyznę stojącego przed rzędem automatów do gry

Automaty do gry

Obraz przedstawiający 4 automaty do gry o różnych prawdopodobieństwach wygranej: 45%, 35%, 85% i 62%, nieznanych użytkownikowi.

Nagroda z ramienia wynosi 0 lub 1
Cel agenta → maksymalizacja łącznej nagrody

Rozwiązanie problemu

Epsilon-zachłanny z zanikaniem
Epsilon → wybór losowego automatu

Diagram pokazujący, że z prawdopodobieństwem epsilon agent eksploruje, wybierając losowy automat.

Rozwiązanie problemu

Epsilon-zachłanny z zanikaniem
Epsilon → wybór losowego automatu
1 - epsilon → wybór najlepszego dotychczasowego automatu
Epsilon maleje w czasie

Diagram pokazujący, że z prawdopodobieństwem epsilon agent eksploruje (losowy automat), a z prawdopodobieństwem 1 - epsilon eksploatuje (najlepszy znany automat).

Inicjalizacja

n_bandits = 4  
true_bandit_probs = np.random.rand(n_bandits)


n_iterations = 100000
epsilon = 1.0
min_epsilon = 0.01
epsilon_decay = 0.999


counts = np.zeros(n_bandits)  # How many times each bandit was played

values = np.zeros(n_bandits)  # Estimated winning probability of each bandit

rewards = np.zeros(n_iterations)  # Reward history

selected_arms = np.zeros(n_iterations, dtype=int)  # Arm selection history

Pętla interakcji

for i in range(n_iterations):
    arm = epsilon_greedy()

    reward = np.random.rand() < true_bandit_probs[arm]

    rewards[i] = reward
    selected_arms[i] = arm
    counts[arm] += 1

    values[arm] += (reward - values[arm]) / counts[arm]

    epsilon = max(min_epsilon, epsilon * epsilon_decay)

Analiza wyborów

selections_percentage = np.zeros((n_iterations, n_bandits))

Diagram przedstawiający pierwszy krok procesu: przykładowa tablica o rozmiarze (iterations, n_bandits) wypełniona zerami.

Analiza wyborów

selections_percentage = np.zeros((n_iterations, n_bandits))

for i in range(n_iterations):
    selections_percentage[i, selected_arms[i]] = 1

Diagram przedstawiający drugi krok procesu – wybrany automat w każdej iteracji jest oznaczany wartością 1 w tablicy.

Analiza wyborów

selections_percentage = np.zeros((n_iterations, n_bandits))

for i in range(n_iterations):
    selections_percentage[i, selected_arms[i]] = 1

selections_percentage = np.cumsum(selections_percentage, axis=0) / 
                        np.arange(1, n_iterations + 1).reshape(-1, 1)

Diagram przedstawiający ostatnie kroki procesu: obliczana jest skumulowana suma wybranych bandytów, a następnie dzielona przez numer iteracji, co daje procentowy udział każdego ramienia w każdej iteracji.

Analiza wyborów

Obraz przedstawiający krzywe selection_percentage dla każdego bandyty, pokazujące, że wraz z postępem iteracji agent coraz częściej wybiera bandytę nr 2.

for arm in range(n_bandits):
    plt.plot(selections_percentage[:, arm], label=f'Bandit #{arm+1}')
plt.xscale('log')
plt.title('Bandit Action Choices Over Time')
plt.xlabel('Episode Number')
plt.ylabel('Percentage of Bandit Selections (%)')
plt.legend()
plt.show()

for i, prob in enumerate(true_bandit_probs, 1):
    print(f"Bandit #{i} -> {prob:.2f}")

Bandit #1 -> 0.37
Bandit #2 -> 0.95
Bandit #3 -> 0.73
Bandit #4 -> 0.60

Agent uczy się wybierać bandytę o najwyższym prawdopodobieństwie

Czas na ćwiczenia!

Uczenie przez wzmacnianie z Gymnasium w Pythonie