LLM 的新颖性

Large Language Models (LLMs) 概念

Vidhi Chugh

AI strategist and ethicist

使用文本数据

展示情感分析、垃圾邮件检测和数字助理的图像

  • 非结构化数据：杂乱且不一致
1 Freepik
Large Language Models (LLMs) 概念

机器不理解语言！

显示计算机无法直接理解语言的图像

1 Freepik
Large Language Models (LLMs) 概念

NLP 的必要性

 

展示 NLP 作为文本与数字之间桥梁、便于计算机理解的图像

1 Freepik
Large Language Models (LLMs) 概念

LLM 的独特能力

 

  • 语言微妙之处
    • 反讽
    • 幽默
    • 双关
    • 讽刺
    • 语调
    • 意图

一个拿着写字板的人指着一些通用文本和一个大问号

1 Freepik
Large Language Models (LLMs) 概念

你最喜欢的书是什么？

 

  • 自然回应："哦，这可难！"

 

  • 个人观点："我最喜欢的书是哈珀·李的《杀死一只知更鸟》。"

 

  • 支持陈述："它有力地讲述了偏见、公正与人性。"

 

  • 追问："您读过吗？"
Large Language Models (LLMs) 概念

语言细微差异

讽刺："太好了，又开会。"

传统语言模型：

  • 回应："会议内容是什么？"
    • 中性
    • 未识别讽刺

 

大型语言模型：

  • 回应："听起来您很期待呢！"
    • 俏皮
    • 有互动性
    • 能匹配讽刺
Large Language Models (LLMs) 概念

LLM 如何理解

 

  • 训练于海量数据

  • LLM 的"规模"：参数

  • 参数表示模式与规则

  • 参数越多 -> 模式越复杂

  • 生成更复杂、准确的回答

Large Language Models (LLMs) 概念

参数

 

  • 积木少 -> 结构有限

显示少量积木的图像

 

  • 积木多 -> 结构更复杂细致

显示大量积木的图像

Large Language Models (LLMs) 概念

新能力的涌现

 

  • 涌现能力
    • 仅见于大规模模型

 

  • 规模：

    • 训练数据量
    • 模型参数数量

 

图表显示当模型规模超过转变阈值时性能突增

Large Language Models (LLMs) 概念

新能力的涌现

 

展示音乐、诗歌、代码生成、医疗诊断与治疗等新能力的图像

Large Language Models (LLMs) 概念

LLM 的构建模块

LLM 的构建模块

Large Language Models (LLMs) 概念

回顾

LLM：

  • 克服数据的非结构化特性

 

  • 表现优于传统模型

 

  • 理解语言细微差异

如何做到？

  • LLM 的"大"
  • 海量训练数据
  • 大量参数
  • 涌现能力
Large Language Models (LLMs) 概念

Vamos praticar!

Large Language Models (LLMs) 概念

Preparing Video For Download...