主動式學習

Reinforcement Learning from Human Feedback（RLHF）

Mina Parham

AI Engineer

人機協作系統

一個圖示：LLM 的輸出由人工審查。

Reinforcement Learning from Human Feedback（RLHF）

人機協作系統

一個圖示：LLM 產生大量輸出，由人工審查。

Reinforcement Learning from Human Feedback（RLHF）

人機協作系統

一個圖示：LLM 輸出中隨機選取資料，由人工審查。

Reinforcement Learning from Human Feedback（RLHF）

人機協作系統

一個圖示：LLM 輸出中主動挑選資料，由人工審查。

Reinforcement Learning from Human Feedback（RLHF）

RLHF 中的主動式學習

去除回饋模型部分的 RLHF 流程。

Reinforcement Learning from Human Feedback（RLHF）

RLHF 中的主動式學習

完整的 RLHF 流程

Reinforcement Learning from Human Feedback（RLHF）

主動式學習

文件圖示，代表輸入資料。

Reinforcement Learning from Human Feedback（RLHF）

主動式學習

文件圖示，代表資料輸入模型。

Reinforcement Learning from Human Feedback（RLHF）

主動式學習

文件圖示代表資料進入模型，帶有「model confident」箭頭指向輸出。

Reinforcement Learning from Human Feedback（RLHF）

主動式學習

文件圖示代表資料進入模型，一個「model confident」箭頭指向輸出，另一個平行箭頭指向人員，標示為「model unsure」與「human reviews and corrects」。

Reinforcement Learning from Human Feedback（RLHF）

主動式學習

文件圖示代表資料進入模型，有「model confident」箭頭指向輸出，另一平行箭頭指向人員，標示「model unsure」與「human reviews and corrects」，並含預測輸出。

Reinforcement Learning from Human Feedback（RLHF）

Active learning pipeline with low confidence

from modAL.models import ActiveLearner

# Initialize learner
learner = ActiveLearner(
    estimator=LogisticRegression(),
    query_strategy=uncertainty_sampling,
    X_training=X_labeled, y_training=y_labeled
)
  • Uncertainty sampling：在信心最低處挑選點
Reinforcement Learning from Human Feedback（RLHF）

低信心的主動式學習流程

# Active learning loop
for _ in range(10):
    learner.teach(X_labeled, y_labeled)
    query_idx, _ = learner.query(X_unlabeled)
    X_labeled = np.vstack((X_labeled, X_unlabeled[query_idx]))
    y_labeled = np.append(y_labeled, y[query_idx])

    X_unlabeled = np.delete(X_unlabeled, query_idx, axis=0)
Reinforcement Learning from Human Feedback（RLHF）

一起來練習吧！

Reinforcement Learning from Human Feedback（RLHF）

Preparing Video For Download...