Aktivt lärande

Reinforcement Learning from Human Feedback (RLHF)

Mina Parham

AI Engineer

System med människa i loopen

Ett diagram över en LLM vars utdata utvärderas av en mänsklig granskare.

Reinforcement Learning from Human Feedback (RLHF)

System med människa i loopen

Ett diagram över en LLM med en stor datamängd i utdata som utvärderas av en mänsklig granskare.

Reinforcement Learning from Human Feedback (RLHF)

System med människa i loopen

Ett diagram över en LLM med ett slumpmässigt urval av data i utdata som utvärderas av en mänsklig granskare.

Reinforcement Learning from Human Feedback (RLHF)

System med människa i loopen

Ett diagram över en LLM med aktivt vald data som utvärderas av en mänsklig granskare.

Reinforcement Learning from Human Feedback (RLHF)

Aktivt lärande i RLHF

RLHF-processen utan belöningsmodellen.

Reinforcement Learning from Human Feedback (RLHF)

Aktivt lärande i RLHF

Den fullständiga RLHF-processen

Reinforcement Learning from Human Feedback (RLHF)

Aktivt lärande

En ikon av dokument som representerar indata.

Reinforcement Learning from Human Feedback (RLHF)

Aktivt lärande

En ikon av dokument som representerar data som matas in i en modell.

Reinforcement Learning from Human Feedback (RLHF)

Aktivt lärande

En ikon av dokument som representerar data som matas in i en modell, och en pil med etiketten "model confident" mot utdata.

Reinforcement Learning from Human Feedback (RLHF)

Aktivt lärande

En ikon av dokument som representerar data som matas in i en modell, en pil med etiketten "model confident" mot utdata, och en parallell pil mot en människa med etiketterna "model unsure" och "human reviews and corrects".

Reinforcement Learning from Human Feedback (RLHF)

Aktivt lärande

En ikon av dokument som representerar data som matas in i en modell, en pil med etiketten "model confident" mot utdata, en parallell pil mot en människa med etiketterna "model unsure" och "human reviews and corrects", samt ett prediktion-utdata.

Reinforcement Learning from Human Feedback (RLHF)

Pipeline för aktivt lärande med låg konfidens

from modAL.models import ActiveLearner

# Initialize learner
learner = ActiveLearner(
    estimator=LogisticRegression(),
    query_strategy=uncertainty_sampling,
    X_training=X_labeled, y_training=y_labeled
)
  • Osäkerhetssampling: punkter väljs där konfidensnivån är lägst
Reinforcement Learning from Human Feedback (RLHF)

Pipeline för aktivt lärande med låg konfidens

# Active learning loop
for _ in range(10):
    learner.teach(X_labeled, y_labeled)
    query_idx, _ = learner.query(X_unlabeled)
    X_labeled = np.vstack((X_labeled, X_unlabeled[query_idx]))
    y_labeled = np.append(y_labeled, y[query_idx])

    X_unlabeled = np.delete(X_unlabeled, query_idx, axis=0)
Reinforcement Learning from Human Feedback (RLHF)

Nu kör vi en övning!

Reinforcement Learning from Human Feedback (RLHF)

Preparing Video For Download...