Apprentissage actif

Reinforcement Learning from Human Feedback (RLHF)

Mina Parham

AI Engineer

Systèmes avec humain dans la boucle

Schéma d'un LLM dont la sortie est évaluée par une personne.

Systèmes avec humain dans la boucle

Schéma d'un LLM avec un grand volume de données en sortie, évaluées par une personne.

Systèmes avec humain dans la boucle

Schéma d'un LLM avec un choix aléatoire de données en sortie, évaluées par une personne.

Systèmes avec humain dans la boucle

Schéma d'un LLM avec des données choisies activement, évaluées par une personne.

Apprentissage actif en RLHF

Le processus RLHF sans la partie modèle de récompense.

Apprentissage actif en RLHF

Le processus RLHF complet

Apprentissage actif

Icône de documents représentant des données d'entrée.

Apprentissage actif

Icône de documents représentant des données entrant dans un modèle.

Apprentissage actif

Icône de documents représentant des données entrant dans un modèle, avec une flèche « confiance du modèle » vers la sortie.

Apprentissage actif

Icône de documents représentant des données entrant dans un modèle, une flèche « confiance du modèle » vers la sortie, et une flèche parallèle vers une personne, étiquettes : « modèle incertain » et « révision et correction humaines ».

Apprentissage actif

Icône de documents représentant des données entrant dans un modèle, une flèche « confiance du modèle » vers la sortie, une flèche parallèle vers une personne avec « modèle incertain » et « révision et correction humaines », et une prédiction en sortie.

Pipeline d'apprentissage actif avec faible confiance

from modAL.models import ActiveLearner

# Initialize learner
learner = ActiveLearner(
    estimator=LogisticRegression(),
    query_strategy=uncertainty_sampling,
    X_training=X_labeled, y_training=y_labeled
)

Uncertainty sampling : points sélectionnés là où la confiance est la plus faible

Pipeline d'apprentissage actif avec faible confiance

# Active learning loop
for _ in range(10):
    learner.teach(X_labeled, y_labeled)
    query_idx, _ = learner.query(X_unlabeled)
    X_labeled = np.vstack((X_labeled, X_unlabeled[query_idx]))
    y_labeled = np.append(y_labeled, y[query_idx])

    X_unlabeled = np.delete(X_unlabeled, query_idx, axis=0)

Passons à la pratique !

Reinforcement Learning from Human Feedback (RLHF)