Evaluarea modelelor

Concepte de AI generativ

Daniel Tedesco

Data Lead, Google

De ce să evaluăm?

Evaluați performanța și eficiența unui model:

Măsurarea progresului
Compararea riguroasă a modelelor
Referință față de performanța umană

Evaluarea AI-urilor generative

Metrici cantitative

Numere reprezentând metrici cantitative

Metrici de evaluare pentru modele discriminative
Metrici specifice modelelor generative

Metrici centrate pe om

Bule de conversație reprezentând metrici centrate pe om

Comparație cu performanța umană
Evaluare inteligentă

Tehnici de evaluare pentru modele discriminative

Măsurarea performanței pe sarcini bine definite

Avantaje:

Larg acceptate și înțelese
Ușor de calculat și comparat

Dezavantaje:

Nu surprind natura subiectivă a conținutului generat

O țintă cu săgeți aproape de centru.

Metrici specifice modelelor generative

Personalizate pentru sarcini generative specifice

Avantaje:

Criterii nuanțate: realism, diversitate și noutate
Multe metrici consacrate

Dezavantaje:

Nu surprind numeroase elemente subiective
Adesea nu se generalizează

Ilustrații cu vaci.

Comparație cu performanța umană

Avantaje:

Comparație cu performanța umană
Demonstrează aplicabilitatea practică

Dezavantaje:

Comparație inechitabilă

Un AI concurând cu un om.

AI-uri premiate

Competiții umane

Operă de artă generată de AI premiată, prezentată cu panglica albastră câștigătoare

Teste standardizate umane

Grafic cu performanța GPT-4 la mai multe teste standardizate. Depășește majoritatea studenților la examene cunoscute precum Uniform Bar Exam și GRE.

¹ https://twitter.com/colostatefair/status/1565486317839863809, OpenAI

Standardul de aur

Evaluare inteligentă realizată de oameni sau alte AI-uri

Avantaje:

Surprinde aspectele subiective

Dezavantaje:

Lentă, costisitoare și dificil de standardizat
Susceptibilă la prejudecăți și inconsecvențe umane

Testul clasic al lui Turing

Propus de informaticianul Alan Turing
Un evaluator uman judecă conținutul generat de AI
Trecut dacă evaluatorul nu poate distinge AI-ul de om
Dar comportamentul uman nu este întotdeauna standardul potrivit

Reprezentare a testului Turing, cu un evaluator uman, un ecran cu conținut generat de AI și conținut uman, ilustrând procesul de distingere între cele două.

Să exersăm!

Concepte de AI generativ