Các thành phần để huấn luyện LLM

Các khái niệm về Large Language Models (LLMs)

Vidhi Chugh

AI strategist and ethicist

Ta đang ở bước nào?

Hình minh họa tiến trình học là Tiền huấn luyện

Các khái niệm về Large Language Models (LLMs)

Tiền huấn luyện sinh mô hình

 

  • Huấn luyện bằng tiền huấn luyện sinh mô hình

    • Dữ liệu đầu vào là các token văn bản
    • Huấn luyện để dự đoán các token trong tập dữ liệu

 

  • Loại:
    • Dự đoán từ tiếp theo
    • Mô hình ngôn ngữ che từ
Các khái niệm về Large Language Models (LLMs)

Dự đoán từ tiếp theo

  • Kỹ thuật học có giám sát
    • Mô hình được huấn luyện trên cặp đầu vào–đầu ra

 

  • Dự đoán từ kế tiếp và sinh văn bản mạch lạc
  • Nắm bắt phụ thuộc giữa các từ

 

  • Dữ liệu huấn luyện
    • Các cặp ví dụ đầu vào–đầu ra

Gợi ý tự động của công cụ tìm kiếm

Các khái niệm về Large Language Models (LLMs)

Dữ liệu huấn luyện cho dự đoán từ tiếp theo

Đầu vào

The quick brown

The quick brown fox

The quick brown fox jumps

The quick brown fox jumps over

The quick brown fox jumps over the

The quick brown fox jumps over the lazy

The quick brown fox jumps over the lazy dog.

Đầu ra

fox

jumps

over

the

lazy

dog

Các khái niệm về Large Language Models (LLMs)

Từ nào liên quan đến pizza hơn?

 

  • Nhiều ví dụ hơn = dự đoán tốt hơn

 

  • Ví dụ:
    • I love to eat pizza with _ _ _ _ _ _

 

  • Phô mai liên quan đến pizza hơn các từ khác

Xác suất các từ liên kết với từ "Pizza"

Các khái niệm về Large Language Models (LLMs)

Mô hình ngôn ngữ che từ (Masked LM)

  • Ẩn một từ chọn lọc

  • Mô hình đã huấn luyện dự đoán từ bị che

 

  • Văn bản gốc: "The quick brown fox jumps over the lazy dog."

  • Văn bản che từ: "The quick [MASK] fox jumps over the lazy dog."

 

  • Mục tiêu: dự đoán từ thiếu

  • Dựa trên kiến thức từ dữ liệu huấn luyện

Các khái niệm về Large Language Models (LLMs)

Ayo berlatih!

Các khái niệm về Large Language Models (LLMs)

Preparing Video For Download...