Активне навчання

Reinforcement Learning from Human Feedback (RLHF)

Mina Parham

AI Engineer

Системи з людиною в циклі

Схема LLM з оцінюванням виходу людським рецензентом.

Reinforcement Learning from Human Feedback (RLHF)

Системи з людиною в циклі

Схема LLM з великим обсягом даних у виході, що оцінюється людським рецензентом.

Reinforcement Learning from Human Feedback (RLHF)

Системи з людиною в циклі

Схема LLM із випадковим вибором даних у виході, що оцінюється людським рецензентом.

Reinforcement Learning from Human Feedback (RLHF)

Системи з людиною в циклі

Схема LLM з активним добором даних, що оцінюється людським рецензентом.

Reinforcement Learning from Human Feedback (RLHF)

Активне навчання в RLHF

Процес RLHF без частини з моделлю винагороди.

Reinforcement Learning from Human Feedback (RLHF)

Активне навчання в RLHF

Повний процес RLHF

Reinforcement Learning from Human Feedback (RLHF)

Активне навчання

Піктограма документів, що означають вхідні дані.

Reinforcement Learning from Human Feedback (RLHF)

Активне навчання

Піктограма документів, що надходять у модель.

Reinforcement Learning from Human Feedback (RLHF)

Активне навчання

Піктограма документів, що надходять у модель, і стрілка з підписом "model confident" до виходу.

Reinforcement Learning from Human Feedback (RLHF)

Активне навчання

Піктограма документів, що надходять у модель, стрілка з підписом "model confident" до виходу та паралельна стрілка до людини з підписами: "model unsure" і "human reviews and corrects".

Reinforcement Learning from Human Feedback (RLHF)

Активне навчання

Піктограма документів, що надходять у модель; стрілка з підписом "model confident" до виходу; паралельна стрілка до людини з підписами "model unsure" і "human reviews and corrects"; та вихід прогнозу.

Reinforcement Learning from Human Feedback (RLHF)

Конвеєр активного навчання з низькою впевненістю

from modAL.models import ActiveLearner

# Initialize learner
learner = ActiveLearner(
    estimator=LogisticRegression(),
    query_strategy=uncertainty_sampling,
    X_training=X_labeled, y_training=y_labeled
)
  • Uncertainty sampling: точки обираються там, де найнижча впевненість
Reinforcement Learning from Human Feedback (RLHF)

Конвеєр активного навчання з низькою впевненістю

# Active learning loop
for _ in range(10):
    learner.teach(X_labeled, y_labeled)
    query_idx, _ = learner.query(X_unlabeled)
    X_labeled = np.vstack((X_labeled, X_unlabeled[query_idx]))
    y_labeled = np.append(y_labeled, y[query_idx])

    X_unlabeled = np.delete(X_unlabeled, query_idx, axis=0)
Reinforcement Learning from Human Feedback (RLHF)

Давайте потренуємось!

Reinforcement Learning from Human Feedback (RLHF)

Preparing Video For Download...