Apprendimento attivo

Reinforcement Learning from Human Feedback (RLHF)

Mina Parham

AI Engineer

Sistemi con human-in-the-loop

Diagramma di un LLM con output valutato da una revisione umana.

Sistemi con human-in-the-loop

Diagramma di un LLM con un grande volume di dati in output valutato da una revisione umana.

Sistemi con human-in-the-loop

Diagramma di un LLM con una scelta casuale di dati in output valutata da una revisione umana.

Sistemi con human-in-the-loop

Diagramma di un LLM con dati scelti attivamente, valutati da una revisione umana.

Apprendimento attivo in RLHF

Il processo RLHF senza il modello di ricompensa.

Apprendimento attivo in RLHF

Il processo RLHF completo

Apprendimento attivo

Icona di documenti che rappresentano i dati in input.

Apprendimento attivo

Icona di documenti che rappresentano dati in ingresso a un modello.

Apprendimento attivo

Icona di documenti che rappresentano dati in ingresso a un modello, e una freccia con l'etichetta "model confident" verso l'output.

Apprendimento attivo

Icona di documenti con dati in ingresso a un modello, una freccia con etichetta "model confident" verso l'output e una freccia parallela verso una persona con etichette: "model unsure" e "human reviews and corrects".

Apprendimento attivo

Icona di documenti con dati in ingresso a un modello, una freccia con etichetta "model confident" verso l'output, una freccia parallela verso una persona con etichette "model unsure" e "human reviews and corrects", e una previsione in output.

Pipeline di apprendimento attivo con bassa confidenza

from modAL.models import ActiveLearner

# Initialize learner
learner = ActiveLearner(
    estimator=LogisticRegression(),
    query_strategy=uncertainty_sampling,
    X_training=X_labeled, y_training=y_labeled
)

Uncertainty sampling: punti scelti dove la confidenza è più bassa

Pipeline di apprendimento attivo con bassa confidenza

# Active learning loop
for _ in range(10):
    learner.teach(X_labeled, y_labeled)
    query_idx, _ = learner.query(X_unlabeled)
    X_labeled = np.vstack((X_labeled, X_unlabeled[query_idx]))
    y_labeled = np.append(y_labeled, y[query_idx])

    X_unlabeled = np.delete(X_unlabeled, query_idx, axis=0)

Esercitiamoci!

Reinforcement Learning from Human Feedback (RLHF)