LLM 的新意

Large Language Models (LLMs) 概念

Vidhi Chugh

AI strategist and ethicist

運用文字資料

顯示情緒分析、垃圾郵件偵測與數位助理的圖片

  • 非結構化資料——雜亂且不一致
1 Freepik
Large Language Models (LLMs) 概念

機器不懂語言！

顯示電腦無法直接理解語言的圖片

1 Freepik
Large Language Models (LLMs) 概念

為何需要 NLP

 

顯示 NLP 做為文字與電腦可理解數字之間橋樑的圖片

1 Freepik
Large Language Models (LLMs) 概念

LLM 的獨特能力

 

  • 語言細微處
    • 反諷
    • 幽默
    • 雙關
    • 諷刺
    • 語調
    • 意圖

一個拿著寫字板的人指向一般文字與大問號的圖片

1 Freepik
Large Language Models (LLMs) 概念

你最喜歡的書是什麼？

 

  • 自然回應：「哦，這題有點難！」

 

  • 個人看法：「我最喜歡的書是 Harper Lee 的《梅岡城故事》（To Kill a Mockingbird）。」

 

  • 補充說明：「這是部探討偏見、正義與人性的有力作品。」

 

  • 後續提問：「你讀過嗎？」
Large Language Models (LLMs) 概念

語言的細膩之處

諷刺語氣：「太棒了，又要開會了。」

傳統語言模型：

  • 回應：「會議是關於什麼？」
    • 中性
    • 未察覺諷刺

 

大型語言模型：

  • 回應：「聽起來你很期待呢！」
    • 俏皮
    • 有互動性
    • 對應諷刺語氣
Large Language Models (LLMs) 概念

LLM 如何理解

 

  • 以海量資料訓練

  • LLM 的「大」：參數

  • 參數表徵模式與規則

  • 參數愈多 → 可捕捉更複雜模式

  • 產生更精細且精準的回應

Large Language Models (LLMs) 概念

參數

 

  • 積木很少 → 結構受限

顯示少量積木的圖片

 

  • 積木很多 → 結構複雜且細緻

顯示大量積木的圖片

Large Language Models (LLMs) 概念

新能力的湧現

 

  • 湧現能力
    • 僅在大型模型出現

 

  • 規模：

    • 訓練資料量
    • 模型參數數量

 

圖表顯示模型規模超過轉換門檻後，效能突然提升

Large Language Models (LLMs) 概念

新能力的湧現

 

顯示音樂、詩歌、程式碼生成、醫療診斷與治療分組等新能力的圖片

Large Language Models (LLMs) 概念

LLM 的組成要素

LLM 的組成要素

Large Language Models (LLMs) 概念

重點回顧

LLM：

  • 克服資料的非結構性

 

  • 表現勝過傳統模型

 

  • 理解語言細微處

如何辦到？

  • LLM 的「大」
  • 龐大訓練資料
  • 大量參數
  • 湧現能力
Large Language Models (LLMs) 概念

一起來練習吧！

Large Language Models (LLMs) 概念

Preparing Video For Download...