Активное обучение

Обучение с подкреплением на основе обратной связи от людей (RLHF)

Mina Parham

AI Engineer

Системы с участием человека

Диаграмма LLM, выходные данные которой оцениваются рецензентом-человеком.

Системы с участием человека

Диаграмма LLM с большим объёмом выходных данных, оцениваемых рецензентом-человеком.

Системы с участием человека

Диаграмма LLM со случайно выбранными выходными данными, оцениваемыми рецензентом-человеком.

Системы с участием человека

Диаграмма LLM с целенаправленно отобранными данными, оцениваемыми рецензентом-человеком.

Активное обучение в RLHF

Процесс RLHF без блока модели вознаграждения.

Активное обучение в RLHF

Полный процесс RLHF

Активное обучение

Значок документов, представляющих входные данные.

Активное обучение

Значок документов, представляющих данные, поступающие в модель.

Активное обучение

Значок документов, представляющих данные, поступающие в модель, со стрелкой с подписью «модель уверена», направленной к выходным данным.

Активное обучение

Значок документов, представляющих данные, поступающие в модель; стрелка с подписью «модель уверена» направлена к выходным данным; параллельная стрелка направлена к человеку с подписями «модель не уверена» и «человек проверяет и исправляет».

Активное обучение

Значок документов, представляющих данные, поступающие в модель; стрелка «модель уверена» к выходным данным; параллельная стрелка к человеку с подписями «модель не уверена» и «человек проверяет и исправляет»; выходной прогноз.

Конвейер активного обучения с низкой уверенностью

from modAL.models import ActiveLearner

# Initialize learner
learner = ActiveLearner(
    estimator=LogisticRegression(),
    query_strategy=uncertainty_sampling,
    X_training=X_labeled, y_training=y_labeled
)

Выборка по неопределённости: выбираются точки с наименьшей уверенностью модели

Конвейер активного обучения с низкой уверенностью

# Active learning loop
for _ in range(10):
    learner.teach(X_labeled, y_labeled)
    query_idx, _ = learner.query(X_unlabeled)
    X_labeled = np.vstack((X_labeled, X_unlabeled[query_idx]))
    y_labeled = np.append(y_labeled, y[query_idx])

    X_unlabeled = np.delete(X_unlabeled, query_idx, axis=0)

Давайте потренируемся!

Обучение с подкреплением на основе обратной связи от людей (RLHF)