Giới thiệu về transformer

Các khái niệm về Large Language Models (LLMs)

Vidhi Chugh

AI strategist and ethicist

Chúng ta đang ở đâu?

Biểu đồ tiến trình cho thấy chúng ta đang ở phần học về transformer

Các khái niệm về Large Language Models (LLMs)

Transformer là gì?

  • "Attention Is All You Need"
    • Cách mạng hóa mô hình ngôn ngữ

 

  • Kiến trúc transformer
    • Quan hệ giữa các từ
    • Thành phần: Tiền xử lý, Mã hóa vị trí, Encoder, và Decoder

Đoạn trích bài báo "Attention is all you need"

1 arXiv: Attention Is All You Need
Các khái niệm về Large Language Models (LLMs)

Bên trong transformer

 

  • Đầu vào: Jane, who lives in New York and works as a software

 

Các thành phần bên trong và luồng dữ liệu trong transformer

 

  • Đầu ra: engineer, loves exploring new restaurants in the city.
Các khái niệm về Large Language Models (LLMs)

Transformer giống như một dàn nhạc

Hình dàn nhạc

Các khái niệm về Large Language Models (LLMs)

Tiền xử lý và biểu diễn văn bản

  • Tiền xử lý văn bản: tách từ, bỏ từ dừng, lemmatization
  • Biểu diễn văn bản: word embedding

Phần đầu của transformer và vài ghi chú riêng lẻ

Các khái niệm về Large Language Models (LLMs)

Mã hóa vị trí (positional encoding)

  • Thông tin vị trí của từng từ
  • Hiểu các từ xa nhau

Phần thứ hai của transformer và một bản nhạc

Các khái niệm về Large Language Models (LLMs)

Encoder

  • Cơ chế attention: tập trung vào từ và quan hệ cụ thể
  • Mạng nơ-ron: xử lý đặc trưng cụ thể

Bộ mã hóa trong luồng transformer

Các khái niệm về Large Language Models (LLMs)

Decoder

  • Gồm attention và mạng nơ-ron
  • Sinh đầu ra

Thành phần decoder của transformer

Các khái niệm về Large Language Models (LLMs)

Transformer và phụ thuộc tầm xa

 

  • Thách thức ban đầu: phụ thuộc tầm xa
  • Attention: tập trung vào các phần khác nhau của đầu vào

 

  • Ví dụ: "Jane, who lives in New York and works as a software engineer, loves exploring new restaurants in the city."

  • "Jane" --- "loves exploring new restaurants"

Các khái niệm về Large Language Models (LLMs)

Xử lý đồng thời nhiều phần

  • Hạn chế của mô hình ngôn ngữ truyền thống:
    • Tuần tự - từng từ một

 

  • Transformer:
    • Xử lý nhiều phần song song
    • Nhanh hơn

 

  • Ví dụ:
    • "The cat sat on the mat"
    • Xử lý "cat," "sat," "on," "the," và "mat" cùng lúc
Các khái niệm về Large Language Models (LLMs)

Ayo berlatih!

Các khái niệm về Large Language Models (LLMs)

Preparing Video For Download...