Sự phát triển của AI tạo sinh

Các khái niệm về Generative AI

Daniel Tedesco

Data Lead, Google

AI tạo sinh bùng nổ vào năm 2023

Biểu đồ số tháng các sản phẩm phần mềm cần để đạt 100 triệu người dùng hàng tháng. ChatGPT dẫn đầu, chỉ mất 2 tháng.

1 Yahoo Finance
Các khái niệm về Generative AI

Yếu tố chính thúc đẩy phát triển

Nhiều yếu tố thúc đẩy phát triển AI tạo sinh:

  • Sức mạnh tính toán
  • Khả dụng của dữ liệu
  • Lợi ích cạnh tranh
  • Thiết kế mô hình
Các khái niệm về Generative AI

Sức mạnh tính toán cho phép mô hình lớn

Biểu đồ cho thấy nhu cầu sức mạnh tính toán để huấn luyện AI tăng theo hàm mũ, từ dưới 10^4 phép tính dấu phẩy động năm 1950 lên 10^24 năm 2022.

 

  • Song song hóa và phần cứng chuyên dụng
    • Graphics Processing Units (GPUs)
    • Tensor Processing Units (TPUs)
  • Điện toán đám mây
  • Tối ưu phần cứng-phần mềm
1 Compute Trends Across Three Eras of Machine Learning, https://arxiv.org/abs/2202.05924
Các khái niệm về Generative AI

Mô hình cải thiện nhờ bộ dữ liệu khổng lồ

Tăng trưởng Global Datasphere Biểu đồ cho thấy dữ liệu toàn cầu tăng nhanh, từ 20 zettabyte năm 2015 lên 180 zettabyte năm 2025.

1 IDC's Global DataSphere, 2021
Các khái niệm về Generative AI

Áp lực cạnh tranh thúc đẩy phát triển nhanh hơn

Thương mại Logo của các công ty công nghệ lớn

Chính trị Nhiều quốc kỳ khác nhau

Các khái niệm về Generative AI

GAN mở ra khả năng tạo sinh chất lượng cao

Hình một thuật toán generator thách thức thuật toán discriminator phân loại các ảnh chó con cuộn tròn trông giống bánh vòng

Các khái niệm về Generative AI

Transformers mang lại ngữ cảnh và tính mạch lạc

'it' chỉ 'animal'

Câu: "The animal didn't cross the street because it was too tired." Từ 'it' và 'animal' được tô sáng.

'it' chỉ 'street'

Câu: "The animal didn't cross the street because it was too wide." Từ 'it' và 'street' được tô sáng.

1 https://ai.googleblog.com/2017/08/transformer-novel-neural-network.html
Các khái niệm về Generative AI

Transformers mang lại ngữ cảnh và tính mạch lạc

 

Transformers:

  • Hiểu ngữ cảnh của văn bản
  • Phân tích quan hệ giữa các từ
  • Tạo phản hồi tự nhiên, giàu thông tin
Các khái niệm về Generative AI

RLHF khai thác phản hồi người dùng

Reinforcement Learning with Human Feedback (RLHF):

  • Học tăng cường huấn luyện mô hình qua thử-sai
  • Phản hồi của con người đến từ điểm số cho phản hồi của mô hình

Luồng AI tạo sinh, với vòng lặp bổ sung: phản hồi → mô hình.

Các khái niệm về Generative AI

RLHF khai thác phản hồi người dùng

Ảnh chụp giao diện Midjourney với tùy chọn chấm điểm kết quả hình ảnh.

1 Midjourney
Các khái niệm về Generative AI

Hãy luyện tập!

Các khái niệm về Generative AI

Preparing Video For Download...