Active learning

Reinforcement Learning from Human Feedback (RLHF)

Mina Parham

AI Engineer

ระบบที่มีมนุษย์ร่วมในกระบวนการ

ไดอะแกรมของ LLM ที่มีผลลัพธ์ถูกประเมินโดยผู้ตรวจสอบที่เป็นมนุษย์

Reinforcement Learning from Human Feedback (RLHF)

ระบบที่มีมนุษย์ร่วมในกระบวนการ

ไดอะแกรมของ LLM ที่มีข้อมูลปริมาณมากในผลลัพธ์ถูกประเมินโดยผู้ตรวจสอบที่เป็นมนุษย์

Reinforcement Learning from Human Feedback (RLHF)

ระบบที่มีมนุษย์ร่วมในกระบวนการ

ไดอะแกรมของ LLM ที่มีการสุ่มเลือกข้อมูลในผลลัพธ์ถูกประเมินโดยผู้ตรวจสอบที่เป็นมนุษย์

Reinforcement Learning from Human Feedback (RLHF)

ระบบที่มีมนุษย์ร่วมในกระบวนการ

ไดอะแกรมของ LLM ที่มีการเลือกข้อมูลอย่างตั้งใจถูกประเมินโดยผู้ตรวจสอบที่เป็นมนุษย์

Reinforcement Learning from Human Feedback (RLHF)

Active learning ใน RLHF

กระบวนการ RLHF โดยไม่มีส่วนของ reward model

Reinforcement Learning from Human Feedback (RLHF)

Active learning ใน RLHF

กระบวนการ RLHF แบบสมบูรณ์

Reinforcement Learning from Human Feedback (RLHF)

Active learning

ไอคอนเอกสารแทนข้อมูลนำเข้า

Reinforcement Learning from Human Feedback (RLHF)

Active learning

ไอคอนเอกสารแทนข้อมูลที่ป้อนเข้าโมเดล

Reinforcement Learning from Human Feedback (RLHF)

Active learning

ไอคอนเอกสารแทนข้อมูลที่ป้อนเข้าโมเดล พร้อมลูกศรที่มีป้ายกำกับว่า "model confident" ชี้ไปยังผลลัพธ์

Reinforcement Learning from Human Feedback (RLHF)

Active learning

ไอคอนเอกสารแทนข้อมูลที่ป้อนเข้าโมเดล มีลูกศรป้ายกำกับ "model confident" ชี้ไปยังผลลัพธ์ และลูกศรขนานชี้ไปยังมนุษย์ที่มีป้ายกำกับ "model unsure" และ "human reviews and corrects"

Reinforcement Learning from Human Feedback (RLHF)

Active learning

ไอคอนเอกสารแทนข้อมูลที่ป้อนเข้าโมเดล มีลูกศรป้ายกำกับ "model confident" ชี้ไปยังผลลัพธ์ ลูกศรขนานชี้ไปยังมนุษย์ที่มีป้ายกำกับ "model unsure" และ "human reviews and corrects" พร้อมผลลัพธ์การพยากรณ์

Reinforcement Learning from Human Feedback (RLHF)

Active learning pipeline แบบ low confidence

from modAL.models import ActiveLearner

# Initialize learner
learner = ActiveLearner(
    estimator=LogisticRegression(),
    query_strategy=uncertainty_sampling,
    X_training=X_labeled, y_training=y_labeled
)
  • Uncertainty sampling: คัดเลือกจุดข้อมูลที่โมเดลมีความมั่นใจต่ำที่สุด
Reinforcement Learning from Human Feedback (RLHF)

Active learning pipeline แบบ low confidence

# Active learning loop
for _ in range(10):
    learner.teach(X_labeled, y_labeled)
    query_idx, _ = learner.query(X_unlabeled)
    X_labeled = np.vstack((X_labeled, X_unlabeled[query_idx]))
    y_labeled = np.append(y_labeled, y[query_idx])

    X_unlabeled = np.delete(X_unlabeled, query_idx, axis=0)
Reinforcement Learning from Human Feedback (RLHF)

มาฝึกกันเถอะ!

Reinforcement Learning from Human Feedback (RLHF)

Preparing Video For Download...