LLMOps 概觀

LLMOps 概念

Max Knobbout, PhD

Applied Scientist, Uber

本課會學到什麼

 

• LLMOps 有效協助管理、部署與維運大型語言模型應用
• 本章重點：
  • 基礎概念
  • LLM 應用生命週期
  • 挑戰與注意事項

¹ Illustrations by Manfred Steger @ Pixabay

LLM 重點回顧

 

 

什麼是 LLM？

• 📚 以大量文字資料訓練
• 🧠 能理解並產生類人文字
• 💡 帶來 AI 突破

 

 

有何不同？

• 🏋 多為預先訓練
• 🐘 參數規模龐大
• 💻 計算資源需求高
• 🎲 輸出具不確定性

一開始的做法…

• 查詢直接丟入模型
• 著重於操作模型本身
• 僅在微調時才引入資料

…到現在的樣貌

• 在產生文字前先整合組織內資料
• 步驟包含資料處理與轉換
• 一次或多次呼叫模型，支援文字、影像或多模態

形塑本課所稱的 LLM 應用

為何需要 LLMOps

 

 

為何需要 LLMOps

 

 

為何需要 LLMOps

 

 

LLMOps 與 MLOps 的差異

LLMOps 與 MLOps 的差異

一些差異：

	LLMOps	MLOps
模型大小	大	通常較小
資料	文字	任一資料型態
預訓練模型	通常有	通常沒有
模型改進	提示工程與微調	特徵工程與模型選擇
泛化	通用	範圍固定
不可預測性	高	低
輸出	以文字為主	依任務而定

一起來練習吧！

LLMOps 概念