モデルの評価指標と調整

人間のフィードバックによる強化学習（RLHF）

Mina Parham

AI Engineer

なぜリファレンスモデルを使うのか？

無意味な出力

一連の絵文字。

モデル出力の確認

応答の確認を含むRLHFプロセスの図。

解決策：KLダイバージェンス

KLダイバージェンスを用いたRLHFプロセスの図。

解決策：KLダイバージェンス

罰則を「報酬モデル」に加える
無関係な出力時にモデルをリダイレクト
「KLダイバージェンス」で現在と報酬モデルを比較

はかりのアイコン。

値は0〜10、負になることはない

パラメータの調整

generation_kwargs = {

    "min_length": -1, # don't ignore the EOS token

    "top_k": 0.0, # no top-k sampling

    "top_p": 1.0, 
    "do_sample": True, 
    "pad_token_id": tokenizer.eos_token_id, 
    "max_new_tokens": 32}

パラメータはポリシーモデルに渡されます

報酬モデルの確認

報酬モデルを確認
出力（報酬）を確認

reward_model_results.head()

|ID | Comment                                     |Sentiment |Reward|
|---|---------------------------------------------|----------|------|
| 1 | This event was lit! So much fun!            | Positive |  0.9 |
| 2 | Terrible experience, never attending again. | Negative | -0.8 |
| 3 | It was okay, nothing extraordinary.         | Neutral  |  0.2 |
| 4 | The event was poorly organized and chaotic. | Negative | -0.85|
| 5 | Had an amazing time with great people!      | Positive |  0.95|

報酬モデルの確認

👍 👎 極端なケースを確認

extreme_positive = reward_model_results[reward_model_results['Reward'] >= 0.9]
extreme_negative = reward_model_results[reward_model_results['Reward'] <= -0.8]

🧘 データのバランスを確保

sentiment_distribution = reward_model_results['Sentiment'].value_counts()

📊 報酬モデルを正規化

from sklearn.preprocessing import MinMaxScaler
scaler = MinMaxScaler(feature_range=(-1, 1))
scaler.fit_transform(reward_model_results[['Reward']])

Passons à la pratique !

人間のフィードバックによる強化学習（RLHF）