Ocena modelu

Koncepcje generatywnej AI

Daniel Tedesco

Data Lead, Google

Po co w ogóle oceniać?

Ocena wydajności i skuteczności modelu:

Mierzenie postępów
Rzetelne porównanie modeli
Punkt odniesienia: możliwości człowieka

Ocena generatywnej AI

Metryki ilościowe

Liczby reprezentujące metryki ilościowe

Metryki oceny modeli dyskryminacyjnych
Metryki charakterystyczne dla modeli generatywnych

Metryki zorientowane na człowieka

Dymki rozmów reprezentujące metryki zorientowane na człowieka

Porównanie z możliwościami człowieka
Ocena ekspercka

Metody oceny modeli dyskryminacyjnych

Pomiar wydajności na dobrze zdefiniowanych zadaniach

Zalety:

Powszechnie akceptowane i zrozumiałe
Łatwe do obliczenia i porównania

Wady:

Nie oddają subiektywnego charakteru generowanych treści

Tarcza do rzutek z lotkami blisko środka.

Metryki charakterystyczne dla modeli generatywnych

Dostosowane do konkretnych zadań generatywnych

Zalety:

Szczegółowe kryteria: realizm, różnorodność, nowatorstwo
Wiele dobrze znanych metryk

Wady:

Nie uchwytują wielu subiektywnych aspektów
Często słabo się uogólniają

Ilustracje krów.

Porównanie z możliwościami człowieka

Zalety:

Punkt odniesienia: możliwości człowieka
Pokazuje praktyczną przydatność

Wady:

Nierówne porównanie

AI rywalizująca z człowiekiem.

AI nagradzana przez ludzi

Konkursy z udziałem ludzi

Nagrodzone dzieło sztuki wygenerowane przez AI z niebieską wstążką zwycięzcy

Standaryzowane testy dla ludzi

Wykres przedstawiający wyniki GPT-4 w kilku standaryzowanych testach. Model przewyższa większość zdających w znanych egzaminach, takich jak Uniform Bar Exam i GRE.

¹ https://twitter.com/colostatefair/status/1565486317839863809, OpenAI

Złoty standard oceny

Ocena ekspercka przez ludzi lub inne systemy AI

Zalety:

Uwzględnia aspekty subiektywne

Wady:

Powolna, kosztowna i trudna do ustandaryzowania
Podatna na stronniczość i niekonsekwencję oceniających

Klasyczny test Turinga

Zaproponowany przez informatyka Alana Turinga
Człowiek ocenia treści generowane przez AI
Test zaliczony, jeśli oceniający nie odróżni AI od człowieka
Jednak ludzkie zachowanie nie zawsze jest właściwym wzorcem

Schemat testu Turinga: człowiek oceniający, ekran z treścią wygenerowaną przez AI oraz treść wytworzona przez człowieka – ilustracja procesu rozróżniania obu źródeł.

Czas na praktykę!

Koncepcje generatywnej AI