能動学習

人間のフィードバックによる強化学習（RLHF）

Mina Parham

AI Engineer

人間参加型システム

人間のレビュアーが出力を評価するLLMの図。

人間参加型システム

大量の出力データを人間のレビュアーが評価するLLMの図。

人間参加型システム

ランダムに選ばれた出力データを人間のレビュアーが評価するLLMの図。

人間参加型システム

能動的に選ばれたデータを人間のレビュアーが評価するLLMの図。

RLHFにおける能動学習

報酬モデル部分を除いたRLHFプロセス。

RLHFにおける能動学習

RLHFプロセスの全体図

能動学習

入力データを表すドキュメントのアイコン。

能動学習

モデルへのデータ入力を表すドキュメントのアイコン。

能動学習

モデルへのデータ入力を表すアイコンと、「モデルが確信あり」というラベルの付いた出力への矢印。

能動学習

モデルへのデータ入力を表すアイコン、「モデルが確信あり」ラベルの出力への矢印、および「モデルが不確か」「人間がレビューして修正」ラベルの人間への矢印。

能動学習

モデルへのデータ入力アイコン、「モデルが確信あり」ラベルの出力への矢印、「モデルが不確か」「人間がレビューして修正」ラベルの人間への矢印、および予測出力。

低信頼度による能動学習パイプライン

from modAL.models import ActiveLearner

# Initialize learner
learner = ActiveLearner(
    estimator=LogisticRegression(),
    query_strategy=uncertainty_sampling,
    X_training=X_labeled, y_training=y_labeled
)

不確実性サンプリング: 信頼度が最も低い点を選択

低信頼度による能動学習パイプライン

# Active learning loop
for _ in range(10):
    learner.teach(X_labeled, y_labeled)
    query_idx, _ = learner.query(X_unlabeled)
    X_labeled = np.vstack((X_labeled, X_unlabeled[query_idx]))
    y_labeled = np.append(y_labeled, y[query_idx])

    X_unlabeled = np.delete(X_unlabeled, query_idx, axis=0)

練習しましょう！

人間のフィードバックによる強化学習（RLHF）