数据问题与注意事项

Large Language Models (LLMs) 概念

Vidhi Chugh

AI strategist and ethicist

数据注意事项

 

 

• 数据量与算力
• 数据质量
• 标注
• 偏见
• 隐私

数据量与算力

• LLM 需要海量数据
  • 类似孩子学说话
  • 570 GB，约 130 万本书

 

¹ Freepik

数据量与算力

• LLM 需要海量数据
  • 类似孩子学说话
  • 570 GB，约 130 万本书

 

• 需要强大算力；注意能耗

 

• 成本可达数百万美元！

数据质量

• 高质量数据至关重要

 

• 数据越准 → 学习更好 → 响应更优 → 信任提升

 

• 孩子学说话
  • 垃圾进 → 垃圾出

标注数据

• 正确标注：学得准确、能泛化、回答更准

• 人工密集：为每篇文章赋予正确标签

• 错误标签会影响模型表现
• 纠错流程：定位 → 分析 → 迭代

数据偏见

• 受社会刻板印象影响
• 训练数据缺乏多样性
• 导致歧视与不公平结果

 

• 识别并处理偏见数据
  • 评估数据不平衡
  • 促进多样性
  • 偏见缓解：加入更多多样示例

• 例：

  • "The nurse said that..." → "she" 或 "her"

数据隐私

• 遵守数据保护与隐私法规

 

• 隐私是重点
  • 未经许可用数据训练可能构成泄露
  • 可能引发法律、财务与声誉风险

• 敏感或个人可识别信息（PII）

 

• 取得授权

让我们来练习！

Large Language Models (LLMs) 概念