生成 AI の進化

生成 AI の基本概念

Daniel Tedesco

Data Lead, Google

生成 AI が 2023 年に登場

さまざまなソフトウェア製品が月間ユーザー 1 億人に達するまでにかかった月数を示すチャート。 ChatGPTがリーダーで、わずか2か月で達成。

1 Yahoo Finance
生成 AI の基本概念

複数の要因が AI 開発を後押し

開発を加速させる主な要因:

  • 計算資源
  • 利用可能なデータセットの規模
  • 競争的な環境
  • モデル設計
生成 AI の基本概念

計算力の向上で大規模モデルが可能に

1950年の10^4未満の浮動小数点演算から2022年の10^24浮動小数点演算まで、AIモデルの学習に必要な計算能力の指数関数的増加を示すグラフ。

  • 並列化と専用ハードウェア
    • グラフィックス処理装置(GPU)
    • Tensor Processing Units (TPU)
  • クラウドコンピューティング
  • ハードウェア・ソフトウェアの最適化
1 Compute Trends Across Three Eras of Machine Learning, https://arxiv.org/abs/2202.05924
生成 AI の基本概念

巨大データでモデルが進化

グローバル・データスフィアの成長 2015年の20ゼタバイトから2025年の180ゼタバイトまで、世界のデータスフィアの成長加速を示すグラフ。

1 IDC's Global DataSphere, 2021
生成 AI の基本概念

競争圧力が開発を加速

ビジネス 主要なテクノロジー企業のロゴ

政治 世界各国の国旗

生成 AI の基本概念

GAN が高品質生成を実現

子犬が丸まってベーグルのように見え、見分けにくい複数の画像を分類するよう、生成アルゴリズムが識別アルゴリズムに挑戦している画像

生成 AI の基本概念

トランスフォーマーは文脈の理解と整合性を実現

「it」は「animal」を指す

文例:"The animal didn't cross the street because it was too tired." 単語「it」と「animal」が強調表示されている。

「it」 は「street」を指す

例文:"The animal didn't cross the street because it was too wide." 単語「it」と「street」が強調表示されている。

1 https://ai.googleblog.com/2017/08/transformer-novel-neural-network.html
生成 AI の基本概念

トランスフォーマーは文脈の理解と整合性を実現

トランスフォーマー:

  • テキストの文脈を把握
  • 単語間の関係を分析する
  • 自然で有益な応答を生成
生成 AI の基本概念

RLHF によるユーザーフィードバックの活用

人間のフィードバックによる強化学習(RLHF):

  • 強化学習は、トライ & エラーを通してモデルを学習させる
  • 人間のフィードバックは、ユーザーがモデルの応答を評価して提供

応答からフィードバック、モデルへとつながる追加ループを含む生成 AI のフロー。

生成 AI の基本概念

RLHF によるユーザーフィードバックの活用

Midjourney の UI のスクリーンショット。画像結果を評価するためのオプションが表示されている。

1 Midjourney
生成 AI の基本概念

練習しましょう!

生成 AI の基本概念

Preparing Video For Download...