GPTモデルとLLMの学習

中級ChatGPT

Alex Banks

Founder & Educator

GPTの起源

左に驚いた男性、右にGPT-1、GPT-2、GPT-3と表示された3本の紫の棒グラフが右肩上がりに並び、各版の規模の拡大を示すイラスト

楕円形（ニューロン）に向かって立つ男性のイラスト

頭上に疑問符のある男性のイラスト。右に「Generative Pre-trained Transformer」という文言、矢印で太字下線の「GPT」を指す

ノートに鉛筆で書く男性のイラスト。左に「Generative」の語

本や電子機器を引き連れて走る男性のイラスト。右に「Pre-trained」の語

「Transformer」という語の下で、男性が別の状態に変化していくイラスト

ノートPCを持って座る男性と、その隣のChatGPTロゴのイラスト

大きなロボットの横で本を読む女性のイラスト。両者とも本を見ている

大量の低品質なインターネットデータクリップボードを持つ女性と、GPTモデルの事前学習の工程やデータを示す図表のイラスト

少量の高品質な対話データロボットの横に立つ女性と、会話データ例のイラスト

RLHF = 人間のフィードバックによる強化学習

クエスチョンマークのカードを持つ2人の女性のイラスト。頭上に「Option A」「Option B」の吹き出し

ロボットの隣で親指を立てる女性のイラスト。画面にAIに関する3つの俳句が表示され、女性とロボットの吹き出しに「これだ！」とある

ラベリングは人と機械の協働

人のアイコンとロボットのアイコンがスライダーでつながり、その横に女性と大きなロボットが調和して立つイラスト

中級ChatGPT