链与代理

LLMOps 概念

Max Knobbout, PhD

Applied Scientist, Uber

LLM 生命周期:链与代理

LLM 应用全生命周期各阶段概览

LLMOps 概念

从提示到应用

用于菜品卡路里分类的提示模板

 

  • 要使用此模板,我们需要:
    • 示例
    • 输入
  • 我们将经历以下步骤:
    1. 接收输入
    2. 搜索示例
    3. 生成提示
    4. 获取输出
    5. 解析输出
LLMOps 概念

使用模板的链

 

使用链从数据库检索相似菜品的 LLM 应用

LLMOps 概念

为什么需要链

 

三位卡通角色绘制链条的有趣图片

 

 

  • 构建更复杂的应用
  • 建立模块化设计,提升可扩展性与效率
  • 释放无限定制可能
LLMOps 概念

代理

 

 

一幅卡通人物骑着机器人老鼠的有趣图片

 

  • 代理由以下组成:
    • 多个动作(或工具)
    • 由 LLM 决定采取哪个动作

 

  • 适用场景:
    • 动作很多
    • 最优步骤顺序未知
    • 输入不确定
LLMOps 概念

代理

一个包含两个动作的代理架构

LLMOps 概念

代理

一个包含两个动作的代理架构

LLMOps 概念

代理

一个包含两个动作的代理架构

LLMOps 概念

链与代理的区别

 

 

链 🔗 代理 🤖
特性 确定性 自适应
复杂度  
灵活性
风险 低(因可预测)            高(因可适应)           
LLMOps 概念

开发周期

在开发周期中加入提示工程活动

LLMOps 概念

开发周期

包含链与代理的开发周期

LLMOps 概念

开发周期

在开发周期中加入链与代理开发活动

LLMOps 概念

Ayo berlatih!

LLMOps 概念

Preparing Video For Download...