語言建模的挑戰

Large Language Models (LLMs) 概念

Vidhi Chugh

AI strategist and ethicist

順序很重要！

 

  • 我只過健康的生活方式。

 

 

  • 位置不同＝意思不同

 

  • 只有我過健康的生活方式。

Illustration of a person with two arrows in opposite directions and a question mark above their head.

1 Freepik
Large Language Models (LLMs) 概念

脈絡建模

一張示意圖，說明單字 'Run' 會隨情境有多種意思。

Large Language Models (LLMs) 概念

脈絡建模

一張示意圖，將 'Run' 解讀為慢跑。

Large Language Models (LLMs) 概念

脈絡建模

一張示意圖，將 'Run' 解讀為管理或經營。

Large Language Models (LLMs) 概念

脈絡建模

一張示意圖，將 'Run' 解讀為操作機器。

Large Language Models (LLMs) 概念

脈絡建模

在前一張圖上加入更多脈絡，以例子說明不同語境下的意義。

Large Language Models (LLMs) 概念

長距依存關係

 

  • 辨識並連結句中相隔較遠的詞
  • 對傳統語言模型是難題

長距依存的例子：「The book that the young girl, who had just returned from her vacation, carefully placed on the shelf was quite heavy.」

Large Language Models (LLMs) 概念

單一任務學習

示意圖：單一任務學習，如影像標註、文本摘要、語言翻譯三種例子。

  • 時間與資源成本高
  • 相較現代 LLM，彈性較低
Large Language Models (LLMs) 概念

多任務學習

示意圖：多任務學習把多種能力整合進同一模型。

  • 提升各單項任務表現
  • 可能影響準確度與效率
  • 因共享資料而需更少訓練資料
Large Language Models (LLMs) 概念

重點回顧

語言建模的挑戰：

  • 詞序

 

  • 理解脈絡

 

  • 長距依存關係

單一任務學習：

  • 針對單一任務
  • 彈性較低
  • 傳統模型與早期 LLM

 

多任務學習：

  • 多才多用
  • 同時處理多任務
  • 更成熟的 LLM
Large Language Models (LLMs) 概念

一起來練習吧！

Large Language Models (LLMs) 概念

Preparing Video For Download...