学习技术

Large Language Models (LLMs) 概念

Vidhi Chugh

AI strategist and ethicist

我们在哪一步？

进度图显示我们已到微调阶段

Large Language Models (LLMs) 概念

突破数据限制

 

  • 微调：将预训练模型用于特定任务的训练

 

  • 但如果几乎没有标注数据呢？

 

  • N-shot 学习：零样本、少样本、多样本
Large Language Models (LLMs) 概念

迁移学习

  • 从一项任务学习并迁移到相关任务
  • 将钢琴的知识迁移到吉他
    • 识谱
    • 理解节奏
    • 掌握乐理概念
  • N-shot 学习
    • 零样本：无任务特定数据
    • 少样本：少量任务特定数据
    • 多样本：相对更多训练数据

钢琴和吉他的插图

Large Language Models (LLMs) 概念

零样本学习

  • 无需显式训练
  • 利用语言理解与上下文
  • 无先验示例也能泛化

一张展示分别训练"马"和"条纹"后帮助模型识别斑马的图片。

1 Freepik
Large Language Models (LLMs) 概念

少样本学习

  • 仅用少量示例学习新任务

一幅展示课堂的图片

  • 单样本学习：用一个示例微调
  • 利用已有知识回答新问题

一张孩子在考试的图片

Large Language Models (LLMs) 概念

多样本学习

  • 比少样本需要更多示例

 

  • 结合以往任务与新示例

 

  • 例如：在金毛上训练的模型

三只金毛猎犬的图片

1 Freepik
Large Language Models (LLMs) 概念

多样本学习

  • 模型输出：拉布拉多猎犬

 

  • 节省数据收集与标注时间

 

  • 准确率不打折

一只拉布拉多的图片

1 Freepik
Large Language Models (LLMs) 概念

目前构建块

  • 数据准备流程

 

  • 微调

 

  • N-shot 学习技术

 

  • 接下来：预训练
Large Language Models (LLMs) 概念

开始练习！

Large Language Models (LLMs) 概念

Preparing Video For Download...