Transformer 简介

Large Language Models (LLMs) 概念

Vidhi Chugh

AI strategist and ethicist

我们进度如何？

进度图，显示我们在学习 Transformer

Large Language Models (LLMs) 概念

什么是 Transformer？

  • 《Attention Is All You Need》
    • 颠覆了语言建模

 

  • Transformer 架构
    • 关注词间关系
    • 组件：预处理、位置编码、编码器、解码器

论文"Attention is all you need"的片段

1 arXiv: Attention Is All You Need
Large Language Models (LLMs) 概念

Transformer 内部一览

 

  • 输入：Jane, who lives in New York and works as a software

 

Transformer 内部组件和数据流

 

  • 输出：engineer, loves exploring new restaurants in the city.
Large Language Models (LLMs) 概念

Transformer 像一支乐团

一张管弦乐队的图片

Large Language Models (LLMs) 概念

文本预处理与表示

  • 文本预处理：分词、停用词清理、词形还原
  • 文本表示：词向量

Transformer 第一组件的高亮和一些单独的音符

Large Language Models (LLMs) 概念

位置编码

  • 每个词的位置编码
  • 理解远距词关系

Transformer 第二组件的高亮和一段乐谱

Large Language Models (LLMs) 概念

编码器

  • 注意力机制：关注特定词及其关系
  • 神经网络：处理特定特征

Transformer 流程中的编码器

Large Language Models (LLMs) 概念

解码器

  • 包含注意力和神经网络
  • 生成输出

Transformer 的解码器组件

Large Language Models (LLMs) 概念

Transformer 与长程依赖

 

  • 初始难题：长程依赖
  • 注意力：关注输入的不同部分

 

  • 示例："Jane, who lives in New York and works as a software engineer, loves exploring new restaurants in the city."

  • "Jane" — "loves exploring new restaurants"

Large Language Models (LLMs) 概念

可同时处理多部分

  • 传统语言模型的局限：
    • 顺序处理——一次一个词

 

  • Transformer：
    • 可并行处理多部分
    • 处理更快

 

  • 例如：
    • "The cat sat on the mat"
    • 同时处理 "cat"、"sat"、"on"、"the"、"mat"
Large Language Models (LLMs) 概念

Passons à la pratique !

Large Language Models (LLMs) 概念

Preparing Video For Download...