Pembelajaran aktif

Reinforcement Learning from Human Feedback (RLHF)

Mina Parham

AI Engineer

Sistem human-in-the-loop

Diagram LLM dengan keluaran dievaluasi peninjau manusia.

Reinforcement Learning from Human Feedback (RLHF)

Sistem human-in-the-loop

Diagram LLM dengan volume data besar di keluaran yang dievaluasi peninjau manusia.

Reinforcement Learning from Human Feedback (RLHF)

Sistem human-in-the-loop

Diagram LLM dengan pilihan data acak di keluaran yang dievaluasi peninjau manusia.

Reinforcement Learning from Human Feedback (RLHF)

Sistem human-in-the-loop

Diagram LLM dengan data yang dipilih secara aktif dievaluasi peninjau manusia.

Reinforcement Learning from Human Feedback (RLHF)

Pembelajaran aktif dalam RLHF

Proses RLHF tanpa bagian model penghargaan.

Reinforcement Learning from Human Feedback (RLHF)

Pembelajaran aktif dalam RLHF

Proses RLHF lengkap

Reinforcement Learning from Human Feedback (RLHF)

Pembelajaran aktif

Ikon dokumen yang mewakili data masukan.

Reinforcement Learning from Human Feedback (RLHF)

Pembelajaran aktif

Ikon dokumen yang mewakili data masuk ke model.

Reinforcement Learning from Human Feedback (RLHF)

Pembelajaran aktif

Ikon dokumen mewakili data masuk ke model, dan panah berlabel "model confident" menuju keluaran.

Reinforcement Learning from Human Feedback (RLHF)

Pembelajaran aktif

Ikon dokumen mewakili data masuk ke model, panah berlabel "model confident" ke keluaran, dan panah paralel ke manusia dengan label: "model unsure" dan "human reviews and corrects".

Reinforcement Learning from Human Feedback (RLHF)

Pembelajaran aktif

Ikon dokumen mewakili data masuk ke model, panah berlabel "model confident" ke keluaran, panah paralel ke manusia dengan label "model unsure" dan "human reviews and corrects", serta keluaran prediksi.

Reinforcement Learning from Human Feedback (RLHF)

Pipa pembelajaran aktif dengan kepercayaan rendah

from modAL.models import ActiveLearner

# Initialize learner
learner = ActiveLearner(
    estimator=LogisticRegression(),
    query_strategy=uncertainty_sampling,
    X_training=X_labeled, y_training=y_labeled
)
  • Uncertainty sampling: pilih titik saat keyakinan paling rendah
Reinforcement Learning from Human Feedback (RLHF)

Pipa pembelajaran aktif dengan kepercayaan rendah

# Active learning loop
for _ in range(10):
    learner.teach(X_labeled, y_labeled)
    query_idx, _ = learner.query(X_unlabeled)
    X_labeled = np.vstack((X_labeled, X_unlabeled[query_idx]))
    y_labeled = np.append(y_labeled, y[query_idx])

    X_unlabeled = np.delete(X_unlabeled, query_idx, axis=0)
Reinforcement Learning from Human Feedback (RLHF)

Ayo berlatih!

Reinforcement Learning from Human Feedback (RLHF)

Preparing Video For Download...