強化学習の基礎

Pythonで学ぶGymnasiumによるReinforcement Learning

Fouad Trad

Machine Learning Engineer

強化学習

エージェントは試行錯誤で学習

エージェントと環境のアイコン2つを示す画像。

強化学習

エージェントは試行錯誤で学習

環境からエージェントに観測が与えられることを示す画像。

強化学習

エージェントは試行錯誤で学習

環境が観測を与え、エージェントがそれに応じて行動することを示す画像。

強化学習

エージェントは試行錯誤で学習
エージェントは受け取る：
- 良い行動への報酬
- 悪い行動への罰則
目的：時間を通じて正のフィードバックを最大化

環境がエージェントに観測を与え、エージェントが行動し、その結果に応じて報酬や罰則を受け取ることを示す画像。

ペット訓練としてのRL

老人（環境）がペット（エージェント）を訓練している画像。

RLと他のMLの違い

「教師あり学習」の表。データはラベル付き、目的は入力から予測、用途は分類と回帰。

RLと他のMLの違い

教師あり学習と教師なし学習の比較表。教師ありはラベル付きで予測、分類・回帰に適用。教師なしはラベルなしでパターン発見、クラスタリング・アソシエーションに適用。

RLと他のMLの違い

拡張比較表でRLを追加。教師ありはラベル付きで予測、分類・回帰に適用。教師なしはラベルなしでパターン発見、クラスタリング・アソシエーションに適用。RLは事前の訓練データを要さず、環境からの報酬最大化に基づく意思決定、意思決定タスクに適用。

RLの適用場面

逐次的な意思決定
- 決定が将来の観測に影響
報酬と罰則による学習
- 直接の教師なし

ロボットのアイコン

RLに適する例：ビデオゲーム

プレイヤーは連続して意思決定
行動で得点やライフ減少が変化

エージェントが意思決定するゲーム画面の画像。

RLに不適：ゲーム内の物体認識

逐次的な意思決定なし
環境との相互作用なし

ゲーム内でポケモンの種類を識別するタスクの画像。

RLの応用

ロボティクス

歩行制御
物体操作

ロボットハンドの画像。

RLの応用

ロボティクス

歩行制御
物体操作

ロボットハンドの画像。

ファイナンス

取引・投資の最適化
利益の最大化

青背景で開いたブリーフケースから大量の紙幣が飛び出す、金融の成功を示す画像。

RLの応用

自動運転車

安全性と効率の向上
事故リスクの最小化

複数の自動運転車が走行する画像。

RLの応用

自動運転車

安全性と効率の向上
事故リスクの最小化

複数の自動運転車が走行する画像。

チャットボット開発

会話スキルの強化
ユーザー体験の向上

会話型チャットボットの画像。

次は何を学ぶか

このコースで学ぶこと

RLの基礎と原理を理解
RL課題の特定・定式化・解法を習得
Gymnasiumで実装

Gymnasiumのロゴ画像。

練習しましょう！

Pythonで学ぶGymnasiumによるReinforcement Learning