生成式 AI 的演进

生成式 AI 概念

Daniel Tedesco

Data Lead, Google

生成式 AI 于 2023 年爆发

一张图表显示各类软件达到 1 亿月活用户所用月份。ChatGPT 仅用 2 个月居首。

1 Yahoo Finance
生成式 AI 概念

发展的关键驱动因素

多因素驱动生成式 AI 发展：

  • 计算能力
  • 数据集可得性
  • 竞争因素
  • 模型设计
生成式 AI 概念

计算力支撑大模型

一张图表显示训练 AI 模型所需算力指数级增长：从 1950 年不足 10^4 浮点运算到 2022 年的 10^24。

 

  • 并行化与专用硬件
    • 图形处理器（GPU）
    • 张量处理器（TPU）
  • 云计算
  • 软硬件协同优化
1 Compute Trends Across Three Eras of Machine Learning, https://arxiv.org/abs/2202.05924
生成式 AI 概念

大规模数据集提升模型效果

全球数据圈增长 一张图表显示全球数据圈加速增长，从 2015 年的 20 ZB 增至 2025 年的 180 ZB。

1 IDC's Global DataSphere, 2021
生成式 AI 概念

竞争压力加速了研发

商业 大型科技公司徽标

政治 多面国际旗帜

生成式 AI 概念

GAN 带来高质量生成

一张图：生成器算法挑战判别器算法去分类几张把小狗蜷成圈、看起来像百吉饼的混淆图片

生成式 AI 概念

Transformer 带来上下文与连贯性

"it"指代"animal"

句子："The animal didn't cross the street because it was too tired." 其中"it"和"animal"高亮。

"it"指代"street"

句子："The animal didn't cross the street because it was too wide." 其中"it"和"street"高亮。

1 https://ai.googleblog.com/2017/08/transformer-novel-neural-network.html
生成式 AI 概念

Transformer 带来上下文与连贯性

 

Transformer：

  • 理解给定文本的上下文
  • 分析词间关系
  • 生成自然且信息丰富的回复
生成式 AI 概念

RLHF 引入用户反馈

结合人类反馈的强化学习（RLHF）：

  • 强化学习通过试错训练模型
  • 人类反馈来自用户对模型回复的评分

一个生成式 AI 流程，增加了"回复→反馈→模型"的环路。

生成式 AI 概念

RLHF 引入用户反馈

Midjourney 界面截图，包含对图像结果打分的选项。

1 Midjourney
生成式 AI 概念

开始练习！

生成式 AI 概念

Preparing Video For Download...