モデル評価

生成 AI の基本概念

Daniel Tedesco

Data Lead, Google

なぜ評価するのか？

モデルのパフォーマンスと有効性を評価：

• 進捗を測定
• 厳密なモデル比較
• 一定の基準で人間のパフォーマンスと比較

生成 AI の評価

定量指標

• 識別モデルの評価指標
• 生成モデル専用の指標

人間中心の指標

• 人間の能力との比較
• 知的評価

識別モデル評価手法

明確に定義されたタスクで性能を測定

長所：

• 広く受け入れられ理解されている
• 計算や比較が簡単

短所：

• 生成コンテンツの主観的な特徴は評価不可

生成モデルに特化した指標

特定の生成タスク向けに最適化

長所：

• 本物らしさ、多様性、独自性などを評価
• 周知の指標が多い

短所：

• 多くの主観的要素は評価しきれない
• 一般化しにくいことが多い

人間のパフォーマンスと比較

長所：

• 人間の能力と比較できるベンチマーク
• 実用的な適用が可能

短所：

• 不公平な比較

受賞する AI たち

人間参加のコンテスト

人間用の標準化テスト

¹ https://twitter.com/colostatefair/status/1565486317839863809、OpenAI

ゴールドスタンダード

人間または他のAIによる知的評価

長所：

• 主観的な特徴を捉える

短所：

• 標準化が難しく、時間がかかり高コスト
• 人間のバイアスの影響、ばらつきが出る可能性

チューリングの古典的テスト

• 数学者アラン・チューリングが提案
• 人間の評価者が AI 生成コンテンツを評価
• 評価者が AI と人間を区別できなければ合格
• しかし、人間の行動が常に適切な基準とは限らない

練習しましょう！

生成 AI の基本概念