Modellutvärdering

Koncept inom generativ AI

Daniel Tedesco

Data Lead, Google

Varför utvärdera?

Bedöm en modells prestanda och effektivitet:

Mät framsteg
Noggrann modelljämförelse
Jämför med mänsklig prestanda

Utvärdera generativ AI

Kvantitativa mätvärden

Siffror som representerar kvantitativa mätvärden

Utvärderingsmätvärden för diskriminativa modeller
Generativa modellspecifika mätvärden

Människocentrerade mätvärden

Pratbubblor som representerar människocentrerade mätvärden

Jämförelse med mänsklig prestanda
Intelligent utvärdering

Utvärderingstekniker för diskriminativa modeller

Mäter prestanda på väldefinierade uppgifter

Fördelar:

Välkända och allmänt accepterade
Enkla att beräkna och jämföra

Nackdelar:

Fångar inte det subjektiva i genererat innehåll

En piltavla med pilar nära mitten.

Generativa modellspecifika mätvärden

Anpassade för specifika generativa uppgifter

Fördelar:

Nyanserade kriterier, som realism, mångfald och originalitet
Många välkända mätvärden

Nackdelar:

Fångar inte alla subjektiva aspekter
Generaliserar ofta inte

Illustrationer av kor.

Jämförelse med mänsklig prestanda

Fördelar:

Jämförelsebrytpunkt mot mänsklig förmåga
Visar praktisk tillämpbarhet

Nackdelar:

Ojämn jämförelse

En AI som tävlar mot en människa.

Prisbelönade AI:er

Tävlingar mot människor

Prisbelönt AI-genererat konstverk med sin vinnande blå rosett

Standardiserade prov för människor

Ett diagram som visar GPT-4:s resultat på flera standardiserade prov. Det överpresterar de flesta studenter på välkända prov som Uniform Bar Exam och GRE.

¹ https://twitter.com/colostatefair/status/1565486317839863809, OpenAI

Guldstandarden

Intelligent utvärdering av människor eller andra AI:er

Fördelar:

Fångar subjektiva aspekter

Nackdelar:

Långsamt, kostsamt och svårt att standardisera
Påverkas av mänskliga fördomar och ojämnheter

Turings klassiska test

Föreslagit av datavetaren Alan Turing
En mänsklig utvärderare bedömer AI-genererat innehåll
Godkänt om utvärderaren inte kan skilja AI från människa
Men mänskligt beteende är inte alltid rätt måttstock

En illustration av Turingtestets upplägg med en mänsklig utvärderare, en datorskärm med AI-genererat innehåll och ett människogenererat innehåll, som visar processen att skilja de två åt.

Nu kör vi en övning!

Koncept inom generativ AI