Các kỹ thuật học

Các khái niệm về Large Language Models (LLMs)

Vidhi Chugh

AI strategist and ethicist

Ta đang ở đâu?

Vượt qua giới hạn dữ liệu

 

• Tinh chỉnh: huấn luyện mô hình đã tiền huấn luyện cho một tác vụ cụ thể

 

• Nếu hầu như không có dữ liệu gán nhãn thì sao?

 

• N-shot learning: zero-shot, few-shot, và multi-shot

Học chuyển giao

• Học từ một tác vụ và chuyển sang tác vụ liên quan
• Chuyển kiến thức từ piano sang guitar
  • Đọc nốt nhạc
  • Hiểu nhịp điệu
  • Nắm khái niệm âm nhạc

• N-shot learning
  • Zero-shot - không có dữ liệu theo tác vụ
  • Few-shot - ít dữ liệu theo tác vụ
  • Multi-shot - nhiều dữ liệu huấn luyện hơn tương đối

Zero-shot learning

• Không huấn luyện tường minh
• Dựa vào hiểu ngôn ngữ và ngữ cảnh
• Khái quát hóa không cần ví dụ trước

¹ Freepik

Few-shot learning

• Học tác vụ mới với vài ví dụ

• One-shot learning: tinh chỉnh từ một ví dụ

• Dùng kiến thức sẵn có để trả lời câu hỏi mới

Multi-shot learning

• Cần nhiều ví dụ hơn few-shot

 

• Nhiệm vụ trước đó, cộng ví dụ mới

 

• Ví dụ: mô hình đã học Golden Retriever

¹ Freepik

Multi-shot learning

• Đầu ra mô hình: Labrador Retriever

 

• Tiết kiệm thời gian thu thập và gán nhãn dữ liệu

 

• Không giảm độ chính xác

¹ Freepik

Các khối xây dựng đến nay

• Quy trình chuẩn bị dữ liệu

 

• Tinh chỉnh

 

• Kỹ thuật học N-shot

 

• Tiếp theo: tiền huấn luyện

Ayo berlatih!

Các khái niệm về Large Language Models (LLMs)