GPT 模型与训练 LLM

ChatGPT 进阶

Alex Banks

Founder & Educator

GPT 的起源

左侧一名惊讶的男子，右侧三根紫色柱状条自左至右标注 GPT-1、GPT-2、GPT-3，表示规模增长

一名男子站立，望向一个椭圆形，表示一个神经元

一位困惑的男子，头上有问号。其右侧显示"Generative Pre-trained Transformer"，箭头指向加粗并下划线的"GPT"

一名男子用铅笔在笔记本上写字。其左侧显示"Generative"一词

一名男子奔跑，身后拖着书籍和电子设备，右侧写着"Pre-trained"

一位男子从一种状态转变为另一种状态，上方写着"Transformer"

一位男子拿着笔记本电脑，旁边是 ChatGPT 标志

一位女子在大机器人旁读书，两者都看着书本

大量、低质量的互联网数据一位女子手持夹板，旁有图表和表格，展示 GPT 模型的预训练流程与数据

少量、高质量的对话数据一位女子站在机器人旁，配有示例对话数据

RLHF = Reinforcement Learning from Human Feedback（基于人类反馈的强化学习）

两位女子举着带问号的卡片，头顶思考气泡写"选项 A""选项 B"

一位女子在机器人旁竖起大拇指，屏幕上显示三首关于 AI 的俳句。二人都在想："就是这首！"

标注是人机协作

一个人形图标与机器人图标通过滑块连接，旁边站着一位女子和一个大机器人，和谐共处

ChatGPT 进阶