Các mô hình GPT và huấn luyện LLM

ChatGPT Trung cấp

Alex Banks

Founder & Educator

Nguồn gốc của GPT

Hình ảnh một người đàn ông ngạc nhiên bên trái, nhìn ba thanh màu tím tăng dần được gắn nhãn GPT-1, GPT-2 và GPT-3 từ trái sang phải, biểu thị sự tăng kích thước qua mỗi phiên bản

Nguồn gốc của GPT

Minh họa một người đàn ông đứng nhìn vào một hình bầu dục, đại diện cho một nơ-ron

Giải nghĩa GPT

Minh họa một người đàn ông bối rối với dấu hỏi trên đầu. Bên phải là chữ 'Generative Pre-trained Transformer', với mũi tên trỏ đến 'GPT' bôi đậm và gạch dưới

Minh họa một người đàn ông viết sổ tay bằng bút chì. Bên trái là chữ 'Generative'

Minh họa một người đàn ông chạy, phía sau là sách và thiết bị điện tử, với chữ 'Pre-trained' bên phải

Minh họa một người đàn ông chuyển đổi trạng thái, với chữ 'Transformer' phía trên

Minh họa một người đàn ông ngồi với laptop, cạnh logo ChatGPT

Huấn luyện LLM như thế nào?

Minh họa một phụ nữ đọc sách cạnh một robot lớn, cả hai cùng nhìn vào cuốn sách

Bước 1 - Tiền huấn luyện

Lượng lớn dữ liệu Internet chất lượng thấp Minh họa một phụ nữ cầm bảng kẹp, với biểu đồ và bảng mô tả quá trình tiền huấn luyện và dữ liệu của mô hình GPT

Bước 2 - Tinh chỉnh

Lượng nhỏ dữ liệu hội thoại chất lượng cao Minh họa một phụ nữ đứng cạnh robot, và vài ví dụ dữ liệu hội thoại

Bước 3 - RLHF

RLHF = Reinforcement Learning from Human Feedback

Minh họa hai phụ nữ cầm thẻ dấu hỏi, với bong bóng suy nghĩ 'Option A' và 'Option B' phía trên đầu

Vai trò của AI trong tạo nhãn so sánh

Minh họa một phụ nữ giơ ngón tay cái cạnh robot, với ba bài haiku về AI hiển thị trên màn hình. Cả hai có bong bóng suy nghĩ ghi 'Cái này!'

Vai trò của AI trong tạo nhãn so sánh

Gán nhãn là sự hợp tác người–máy

Minh họa biểu tượng người và robot nối bằng một thanh trượt, với một phụ nữ và robot lớn đứng cạnh hài hòa

Let's practice!

ChatGPT Trung cấp