Învățare activă

Reinforcement Learning from Human Feedback (RLHF)

Mina Parham

AI Engineer

Sisteme cu om în buclă

Diagramă a unui LLM cu ieșire evaluată de un evaluator uman.

Sisteme cu om în buclă

Diagramă a unui LLM cu un volum mare de date în ieșire evaluată de un evaluator uman.

Sisteme cu om în buclă

Diagramă a unui LLM cu o selecție aleatorie de date în ieșire evaluată de un evaluator uman.

Sisteme cu om în buclă

Diagramă a unui LLM cu date selectate activ, evaluate de un evaluator uman.

Învățare activă în RLHF

Procesul RLHF fără componenta modelului de recompensă.

Învățare activă în RLHF

Procesul complet RLHF

Învățare activă

Pictogramă documente reprezentând date de intrare.

Învățare activă

Pictogramă documente reprezentând date introduse într-un model.

Învățare activă

Pictogramă documente reprezentând date introduse într-un model și o săgeată cu eticheta „model încrezător" spre ieșire.

Învățare activă

Pictogramă documente reprezentând date introduse într-un model, o săgeată „model încrezător" spre ieșire și o săgeată paralelă spre un om cu etichetele „model nesigur" și „om verifică și corectează".

Învățare activă

Pictogramă documente reprezentând date introduse într-un model, o săgeată „model încrezător" spre ieșire, o săgeată paralelă spre un om cu etichetele „model nesigur" și „om verifică și corectează", și o ieșire de predicție.

Pipeline de învățare activă cu încredere scăzută

from modAL.models import ActiveLearner

# Initialize learner
learner = ActiveLearner(
    estimator=LogisticRegression(),
    query_strategy=uncertainty_sampling,
    X_training=X_labeled, y_training=y_labeled
)

Eșantionare prin incertitudine: puncte selectate unde încrederea este minimă

Pipeline de învățare activă cu încredere scăzută

# Active learning loop
for _ in range(10):
    learner.teach(X_labeled, y_labeled)
    query_idx, _ = learner.query(X_unlabeled)
    X_labeled = np.vstack((X_labeled, X_unlabeled[query_idx]))
    y_labeled = np.append(y_labeled, y[query_idx])

    X_unlabeled = np.delete(X_unlabeled, query_idx, axis=0)

Să exersăm!

Reinforcement Learning from Human Feedback (RLHF)