學習技術

Large Language Models (LLMs) 概念

Vidhi Chugh

AI strategist and ethicist

我們現在在哪裡？

進度圖：我們已到達微調階段

Large Language Models (LLMs) 概念

突破資料限制

 

  • 微調（Fine-tuning）：將預先訓練的模型針對特定任務再訓練

 

  • 但如果幾乎沒有標記資料呢？

 

  • N-shot 學習：zero-shot、few-shot、multi-shot
Large Language Models (LLMs) 概念

遷移學習

  • 從一個任務學習並轉移到相關任務
  • 將鋼琴的知識轉移到吉他
    • 讀譜
    • 節奏感
    • 音樂概念
  • N-shot 學習
    • Zero-shot：沒有該任務的資料
    • Few-shot：該任務資料很少
    • Multi-shot：訓練資料相對較多

鋼琴與吉他的插圖

Large Language Models (LLMs) 概念

Zero-shot 學習

  • 無需顯式訓練
  • 利用語言理解與脈絡
  • 在沒有先前範例下也能泛化

一張圖示：分別學到馬與條紋後，模型能辨識出斑馬。

1 Freepik
Large Language Models (LLMs) 概念

Few-shot 學習

  • 以少量範例學會新任務

一張教室的圖片

  • One-shot 學習：用單一範例微調
  • 依據既有知識回答新問題

一張小孩考試作答的圖片

Large Language Models (LLMs) 概念

Multi-shot 學習

  • 需要比 few-shot 更多範例

 

  • 延續先前任務，再加入新範例

 

  • 例如：模型訓練於 Golden Retriever

三隻黃金獵犬的圖片

1 Freepik
Large Language Models (LLMs) 概念

Multi-shot 學習

  • 模型輸出：Labrador Retriever

 

  • 節省蒐集與標記資料的時間

 

  • 準確度不打折

一張拉不拉多的圖片

1 Freepik
Large Language Models (LLMs) 概念

目前的基石

  • 資料準備流程

 

  • 微調

 

  • N-shot 學習技巧

 

  • 下一步：預先訓練
Large Language Models (LLMs) 概念

一起來練習吧！

Large Language Models (LLMs) 概念

Preparing Video For Download...