语言建模的挑战

Large Language Models (LLMs) 概念

Vidhi Chugh

AI strategist and ethicist

序列很重要！

 

  • 只有我过着健康的生活方式。

 

 

  • 位置不同 = 含义不同

 

  • 我只过着健康的生活方式。

一个人两箭头指向相反方向、头上有问号的插图。

1 Freepik
Large Language Models (LLMs) 概念

上下文建模

展示"Run"一词可随上下文有多种含义的图片。

Large Language Models (LLMs) 概念

上下文建模

展示"Run"表示慢跑的图片。

Large Language Models (LLMs) 概念

上下文建模

展示"Run"表示管理或组织的图片。

Large Language Models (LLMs) 概念

上下文建模

展示"Run"表示操作机器的图片

Large Language Models (LLMs) 概念

上下文建模

为前一张图添加更多上下文，用示例体现不同语境含义。

Large Language Models (LLMs) 概念

长程依赖

 

  • 识别并关联句中相距较远的词
  • 对传统语言模型具有挑战

长程依赖示例："The book that the young girl, who had just returned from her vacation, carefully placed on the shelf was quite heavy."

Large Language Models (LLMs) 概念

单任务学习

三种单任务学习示例：图像描述、文本摘要、机器翻译。

  • 耗时且耗资源
  • 与现代大模型相比灵活性较差
Large Language Models (LLMs) 概念

多任务学习

多任务学习将多种能力集成到一个模型中。

  • 提升各单项任务表现
  • 可能影响准确性与效率
  • 需更少训练数据（数据可共享）
Large Language Models (LLMs) 概念

回顾

语言建模的挑战：

  • 词序列

 

  • 理解上下文

 

  • 长程依赖

单任务学习：

  • 面向单一任务
  • 灵活性较差
  • 传统模型与早期大模型

 

多任务学习：

  • 通用性强
  • 支持多任务
  • 更成熟的大模型
Large Language Models (LLMs) 概念

让我们来练习！

Large Language Models (LLMs) 概念

Preparing Video For Download...