何时应信任 LLM

面向商业的 Large Language Models

Iason Prassides

Content Developer, DataCamp

充分利用 Duolingo

• Duolingo Max
  • 使用 ChatGPT 进行类人对话

¹ https://blog.duolingo.com/duolingo-max/

充分利用 Duolingo

• Duolingo Max
  • 使用 ChatGPT 进行类人对话
• 学习者练习语言
  • GPT 扮演不同角色
  • 提供即时反馈

¹ https://blog.duolingo.com/duolingo-max/

理解 LLM

• 业务领导需真正理解 LLM
• LLM 不是魔法！
  • 本质是预测序列的下一部分
• 它们不具有人类式的语言理解

LLM 有常识吗？

• LLM 不理解"真相"
• 缺乏常识
• 各场景都需人工监督
• 仅依赖 LLM 可能带来不良后果

训练监督

• LLM 依赖其训练数据
• 偏见与社会不公可能被放大
  • 检查回复以识别有害输出

是否存在偏见？

• 若训练含仇恨言论
  • 输出也会带有仇恨
• 数据集含偏见
  • 会产生系统性偏见输出的 LLM
• 可能延续成见、刻板印象或错误信息
• 开发者已加入防护措施
• 企业需知情并确保防护

灵活性及其后果

• 同一提示 -> 不同回复
• 对创意有益，对其他用途可能成问题
• 市场团队用 LLM 写产品文案：
  • 顾客看到不同描述
  • 可能损害品牌形象

安全警报！

• LLM 复杂但仍可被诱骗
• 攻击者可在网站嵌入恶意提示
  • 扭曲 LLM 的输出
• 称为提示注入
• 可能导致声誉受损

LLM 的挑战

• 许多挑战因行业而异
• 开放式 Web 应用安全项目（OWASP）
  • 量化这些挑战
• 企业需关注相关风险
• 理解 LLM 的复杂性
• 确保人工监督
• 投资培训与安全

¹ https://owasp.org/

Ayo berlatih!

面向商业的 Large Language Models