主动学习

来自人类反馈的强化学习（RLHF）

Mina Parham

AI Engineer

人参与环系统（HITL）

一个 LLM 的示意图，其输出由人工评审。

来自人类反馈的强化学习（RLHF）

人参与环系统（HITL）

一个 LLM 的示意图，输出数据量很大，由人工评审。

来自人类反馈的强化学习（RLHF）

人参与环系统（HITL）

一个 LLM 的示意图，随机选择的输出由人工评审。

来自人类反馈的强化学习（RLHF）

人参与环系统（HITL）

一个 LLM 的示意图，主动选择的数据由人工评审。

来自人类反馈的强化学习（RLHF）

RLHF 中的主动学习

去掉奖励模型部分的 RLHF 流程。

来自人类反馈的强化学习（RLHF）

RLHF 中的主动学习

完整的 RLHF 流程

来自人类反馈的强化学习（RLHF）

主动学习

表示输入数据的文档图标。

来自人类反馈的强化学习（RLHF）

主动学习

表示数据进入模型的文档图标。

来自人类反馈的强化学习（RLHF）

主动学习

表示数据进入模型的文档图标，以及指向输出的"模型有把握"箭头。

来自人类反馈的强化学习（RLHF）

主动学习

表示数据进入模型的文档图标，指向输出的"模型有把握"箭头，以及并行指向人的箭头，标注"模型不确定"和"人工审阅并更正"。

来自人类反馈的强化学习（RLHF）

主动学习

表示数据进入模型的文档图标，指向输出的"模型有把握"箭头，并行指向人的箭头，标注"模型不确定""人工审阅并更正"，以及预测输出。

来自人类反馈的强化学习（RLHF）

低置信度的主动学习流程

from modAL.models import ActiveLearner

# Initialize learner
learner = ActiveLearner(
    estimator=LogisticRegression(),
    query_strategy=uncertainty_sampling,
    X_training=X_labeled, y_training=y_labeled
)
  • 不确定性采样：选择置信度最低的点
来自人类反馈的强化学习（RLHF）

低置信度的主动学习流程

# Active learning loop
for _ in range(10):
    learner.teach(X_labeled, y_labeled)
    query_idx, _ = learner.query(X_unlabeled)
    X_labeled = np.vstack((X_labeled, X_unlabeled[query_idx]))
    y_labeled = np.append(y_labeled, y[query_idx])

    X_unlabeled = np.delete(X_unlabeled, query_idx, axis=0)
来自人类反馈的强化学习（RLHF）

Vamos praticar!

来自人类反馈的强化学习（RLHF）

Preparing Video For Download...