Active learning

Reinforcement Learning from Human Feedback (RLHF)

Mina Parham

AI Engineer

Sistemas com humano no loop

Um diagrama de um LLM com a saída avaliada por uma pessoa revisora.

Sistemas com humano no loop

Um diagrama de um LLM com grande volume de dados na saída avaliada por uma pessoa revisora.

Sistemas com humano no loop

Um diagrama de um LLM com escolha aleatória de dados na saída avaliada por uma pessoa revisora.

Sistemas com humano no loop

Um diagrama de um LLM com dados escolhidos ativamente, avaliados por uma pessoa revisora.

Active learning em RLHF

O processo de RLHF sem a parte do modelo de recompensas.

Active learning em RLHF

O processo completo de RLHF

Active learning

Um ícone de documentos representando dados de entrada.

Active learning

Um ícone de documentos representando dados entrando em um modelo.

Active learning

Um ícone de documentos representando dados entrando em um modelo, e uma seta com o rótulo "model confident" indo para a saída.

Active learning

Um ícone de documentos representando dados entrando em um modelo, uma seta com o rótulo "model confident" indo para a saída, e uma seta paralela indo para uma pessoa com os rótulos: "model unsure" e "human reviews and corrects".

Active learning

Um ícone de documentos representando dados entrando em um modelo, uma seta com o rótulo "model confident" indo para a saída, uma seta paralela indo para uma pessoa com os rótulos "model unsure" e "human reviews and corrects", e uma previsão de saída.

Pipeline de active learning com baixa confiança

from modAL.models import ActiveLearner

# Initialize learner
learner = ActiveLearner(
    estimator=LogisticRegression(),
    query_strategy=uncertainty_sampling,
    X_training=X_labeled, y_training=y_labeled
)

Uncertainty sampling: pontos selecionados onde a confiança é menor

Pipeline de active learning com baixa confiança

# Active learning loop
for _ in range(10):
    learner.teach(X_labeled, y_labeled)
    query_idx, _ = learner.query(X_unlabeled)
    X_labeled = np.vstack((X_labeled, X_unlabeled[query_idx]))
    y_labeled = np.append(y_labeled, y[query_idx])

    X_unlabeled = np.delete(X_unlabeled, query_idx, axis=0)

Vamos praticar!

Reinforcement Learning from Human Feedback (RLHF)