LLMOps 概览

LLMOps 概念

Max Knobbout, PhD

Applied Scientist, Uber

本章学习目标

 

• LLMOps 有助于高效管理、部署和维护大语言模型应用
• 本章将涵盖：
  • 基础
  • LLM 应用的生命周期
  • 挑战与考量

¹ 插图：Manfred Steger @ Pixabay

LLM 回顾

 

 

什么是 LLM？

• 📚 以海量文本训练
• 🧠 能理解并生成类人文本
• 💡 是 AI 的重大突破

 

 

有何不同？

• 🏋 通常已预训练
• 🐘 参数量巨大
• 💻 计算资源需求高
• 🎲 不可预测

最初的做法……

• 早期将查询直接输入模型
• 重点在模型本身的操作
• 仅在微调时才引入数据

……对比现在的情况

• 在生成前整合组织数据
• 可能包含数据处理与操作
• 一次或多次模型调用，支持文本、图像或多模态

因此在本课程中称为LLM 应用

为何需要 LLMOps

 

 

为何需要 LLMOps

 

 

为何需要 LLMOps

 

 

LLMOps 与 MLOps 对比

LLMOps 与 MLOps 对比

一些差异：

	LLMOps	MLOps
模型规模	大	通常更小
数据	文本	任意数据
预训练模型	通常有	通常无
模型改进	提示工程与微调	特征工程与模型选择
泛化	通用	固定范围
不可预测性	高	低
输出	以文本为主	任务特定

开始练习吧！

LLMOps 概念