Tinh chỉnh

Các khái niệm về Large Language Models (LLMs)

Vidhi Chugh

AI strategist and ethicist

Chúng ta đang ở đâu?

Biểu đồ tiến trình cho thấy ta đã đến giai đoạn tinh chỉnh

Các khái niệm về Large Language Models (LLMs)

 

  • Tiền huấn luyện

Hình ảnh học sinh tiểu học như phép ẩn dụ cho tiền huấn luyện

          Giáo dục phổ thông

 

  • Tinh chỉnh

Hình ảnh sinh viên đại học như phép ẩn dụ cho tinh chỉnh

        Chuyên ngành đại học
1 Freepik
Các khái niệm về Large Language Models (LLMs)

Thách thức về “độ lớn”

  • Tinh chỉnh có thể giúp
  • Máy tính mạnh
  • Phương pháp huấn luyện hiệu quả
  • Lượng dữ liệu huấn luyện lớn

Hình minh họa dữ liệu, thời gian huấn luyện và sức mạnh tính toán là thách thức khi xây LLM

Các khái niệm về Large Language Models (LLMs)

Sức mạnh tính toán

  • Bộ nhớ

  • Sức mạnh xử lý

  • Hạ tầng

  • Tốn kém

  • LLM:
    • Hàng trăm nghìn CPU
    • Hàng chục nghìn GPU
  • Máy cá nhân: 4–8 CPU và 1–2 GPU

Người đàn ông làm việc trên máy tính kết nối máy chủ lớn

1 Freepik
Các khái niệm về Large Language Models (LLMs)

Huấn luyện mô hình hiệu quả

Minh họa biểu trưng mô hình học sâu

  • Thời gian huấn luyện rất lớn

 

  • Có thể mất hàng tuần hoặc hàng tháng

 

  • Huấn luyện hiệu quả = nhanh hơn

 

  • 355 năm xử lý trên một GPU
Các khái niệm về Large Language Models (LLMs)

Khả dụng dữ liệu

 

  • Cần dữ liệu chất lượng cao
  • Để học các mức độ phức tạp, tinh tế của ngôn ngữ

  • Vài trăm GB văn bản

    • Hơn một triệu cuốn sách

  • Khối dữ liệu khổng lồ

  Hai chồng hồ sơ tràn ra tượng trưng cho dữ liệu lớn

Các khái niệm về Large Language Models (LLMs)

Vượt qua thách thức

  • Tinh chỉnh
    • Giải quyết một số thách thức này
    • Điều chỉnh mô hình đã tiền huấn luyện

 

  • Mô hình tiền huấn luyện
    • Học từ tập dữ liệu mục đích chung
    • Chưa tối ưu cho tác vụ cụ thể
    • Có thể tinh chỉnh cho bài toán cụ thể

Mọi người làm việc trên laptop khổ lớn với dụng cụ và bánh răng, tượng trưng việc tinh chỉnh

Các khái niệm về Large Language Models (LLMs)

Tinh chỉnh vs. Tiền huấn luyện

  • Tinh chỉnh

  • Tính toán

    • 1–2 CPU và GPU

 

  • Thời gian huấn luyện
    • Vài giờ đến vài ngày

 

  • Dữ liệu
    • ~1 gigabyte

  • Tiền huấn luyện

  • Tính toán

    • Hàng nghìn CPU và GPU

 

  • Thời gian huấn luyện
    • Hàng tuần đến hàng tháng

 

  • Dữ liệu
    • Hàng trăm gigabyte
Các khái niệm về Large Language Models (LLMs)

Ayo berlatih!

Các khái niệm về Large Language Models (LLMs)

Preparing Video For Download...