Đánh giá mô hình

Các khái niệm về Generative AI

Daniel Tedesco

Data Lead, Google

Vì sao cần đánh giá?

Đánh giá hiệu suất và hiệu quả của mô hình:

Đo lường tiến bộ
So sánh mô hình nghiêm ngặt
Đối sánh với hiệu suất con người

Đánh giá AI sinh

Chỉ số định lượng

Các con số, đại diện cho các chỉ số định lượng

Chỉ số đánh giá mô hình phân biệt
Chỉ số riêng cho mô hình sinh

Chỉ số hướng con người

Các bong bóng hội thoại, đại diện cho các chỉ số hướng con người

So sánh với hiệu suất con người
Đánh giá thông minh

Kỹ thuật đánh giá mô hình phân biệt

Đo hiệu suất trên các nhiệm vụ xác định rõ

Ưu điểm:

Phổ biến, dễ hiểu
Dễ tính và so sánh

Nhược điểm:

Không phản ánh tính chủ quan của nội dung sinh ra

Một bảng phi tiêu với các phi tiêu gần hồng tâm.

Chỉ số riêng cho mô hình sinh

Tùy biến cho nhiệm vụ sinh cụ thể

Ưu điểm:

Tiêu chí tinh tế: tính thực, đa dạng, mới lạ
Nhiều chỉ số phổ biến

Nhược điểm:

Không bao quát nhiều yếu tố chủ quan
Thường khó khái quát hóa

Minh họa các con bò.

So sánh với con người

Ưu điểm:

So sánh với năng lực con người
Thể hiện tính ứng dụng thực tế

Nhược điểm:

So sánh thiếu công bằng

Một AI đang thi đấu với con người.

AI đoạt giải thưởng

Cuộc thi của con người

Tác phẩm nghệ thuật do AI tạo ra đoạt giải, kèm ruy băng xanh chiến thắng

Bài kiểm tra chuẩn hóa của con người

Biểu đồ thể hiện hiệu suất của GPT-4 trên nhiều bài kiểm tra chuẩn hóa. Nó vượt phần lớn thí sinh ở các kỳ thi như Uniform Bar Exam và GRE.

¹ https://twitter.com/colostatefair/status/1565486317839863809, OpenAI

Chuẩn vàng

Đánh giá thông minh bởi con người hoặc AI khác

Ưu điểm:

Nắm bắt yếu tố chủ quan

Nhược điểm:

Chậm, tốn kém, khó chuẩn hóa
Bị thiên kiến và thiếu nhất quán của con người

Bài kiểm tra kinh điển của Turing

Do nhà khoa học máy tính Alan Turing đề xuất
Con người đánh giá nội dung do AI tạo
Đạt nếu người đánh giá không phân biệt được AI với con người
Nhưng hành vi con người không phải lúc nào cũng là chuẩn đúng

Mô tả thiết lập kiểm tra Turing, với người đánh giá, một màn hình hiển thị nội dung do AI tạo và nội dung do con người tạo, minh họa quá trình phân biệt giữa hai bên.

Ayo berlatih!

Các khái niệm về Generative AI