模型评估

生成式 AI 概念

Daniel Tedesco

Data Lead, Google

为何要评估？

评估模型的性能与有效性：

• 衡量进展
• 严谨地比较模型
• 以人类表现为基准

评估生成式AI

量化指标

• 判别式模型评估指标
• 生成式模型专用指标

以人为本的指标

• 与人类表现对比
• 智能评估

判别式模型评估方法

在明确定义的任务上衡量性能

优点：

• 广泛接受且易理解
• 易于计算与比较

缺点：

• 难以体现生成内容的主观性

生成式模型专用指标

针对特定生成任务定制

优点：

• 细化标准，如真实感、多样性、新颖性
• 指标众多且知名

缺点：

• 仍难覆盖诸多主观要素
• 往往不具通用性

与人类表现对比

 

优点：

• 与人类能力对标
• 展示实际适用性

缺点：

• 比较不公平

屡获殊荣的AI

人类竞赛

人类标准化测试

¹ https://twitter.com/colostatefair/status/1565486317839863809, OpenAI

金标准

由人类或其他AI进行智能评估

优点：

• 能捕捉主观维度

缺点：

• 缓慢、成本高，且难以标准化
• 易受人类偏见与不一致影响

图灵的经典测试

 

• 由计算机科学家艾伦·图灵提出
• 人类评审判定AI生成内容
• 若无法区分AI与人类，则通过
• 但人类行为并非总是合适标准

Passons à la pratique !

生成式 AI 概念