生成式 AI 的演進

生成式 AI 概念

Daniel Tedesco

Data Lead, Google

生成式 AI 於 2023 年爆發

一張圖表顯示多款軟體到達每月 1 億使用者所需的月份。ChatGPT 只花 2 個月,居冠。

1 Yahoo Finance
生成式 AI 概念

推動發展的關鍵因素

多項因素推動生成式 AI 發展:

  • 計算能力
  • 資料集可得性
  • 競爭壓力
  • 模型設計
生成式 AI 概念

計算力讓大型模型成真

一張圖表顯示訓練 AI 模型所需計算力的指數成長,從 1950 年低於 10^4 浮點運算到 2022 年的 10^24 浮點運算。

 

  • 平行化與專用硬體
    • Graphics Processing Units (GPUs)
    • Tensor Processing Units (TPUs)
  • 雲端運算
  • 軟硬體協同最佳化
1 Compute Trends Across Three Eras of Machine Learning, https://arxiv.org/abs/2202.05924
生成式 AI 概念

龐大資料集帶動模型進步

全球資料圈成長 一張圖表顯示全球資料圈加速成長,從 2015 年的 20 ZB 到 2025 年的 180 ZB。

1 IDC's Global DataSphere, 2021
生成式 AI 概念

競爭壓力加速研發

商業 多家大型科技公司的商標

政治 多面國際旗幟

生成式 AI 概念

GAN 帶來高品質生成

一張圖顯示產生器演算法挑戰判別器演算法,讓其分類多張像貝果般蜷縮的小狗圖片。

生成式 AI 概念

Transformers 帶來脈絡與連貫

「it」指的是「animal」

句子:「The animal didn't cross the street because it was too tired.」其中「it」與「animal」被標示。

「it」指的是「street」

句子:「The animal didn't cross the street because it was too wide.」其中「it」與「street」被標示。

1 https://ai.googleblog.com/2017/08/transformer-novel-neural-network.html
生成式 AI 概念

Transformers 帶來脈絡與連貫

 

Transformers:

  • 掌握文字脈絡
  • 解析詞與詞之間的關係
  • 生成自然且具資訊量的回應
生成式 AI 概念

RLHF 導入使用者回饋

Reinforcement Learning with Human Feedback(RLHF):

  • 強化學習以嘗試錯誤來訓練模型
  • 人類回饋來自使用者對模型回應的評分

一個生成式 AI 流程,另有一個從回應到回饋再回到模型的迴圈。

生成式 AI 概念

RLHF 導入使用者回饋

Midjourney 介面截圖,可對影像結果進行評分。

1 Midjourney
生成式 AI 概念

一起來練習吧!

生成式 AI 概念

Preparing Video For Download...