Utvärdera svar

Förstå prompt engineering

Alex Banks

Founder & Educator

Introduktion till att utvärdera svar

Varje verktyg har sina begränsningar. ChatGPT har ett kunskapsstopp. Lösning: smart promptning.

¹ Bildkälla: DALLE-3

De fyra grundpelarna i utvärdering

LARF

Logisk konsistens
Aktualitet
Relevans
Faktatrolighet

Glad, leende äldre person

¹ Bildkälla: DALLE-3

Logisk konsistens – koherenskontrollen

Person som arbetar med solpanel och prompten "vilka är fördelarna och nackdelarna med solenergi"

¹ Bildkälla: DALLE-3

Logisk konsistens – koherenskontrollen

Person som arbetar med solpanel och prompten "vilka är fördelarna och nackdelarna med solenergi"

Lista över fördelar

¹ Bildkälla: DALLE-3

Logisk konsistens – koherenskontrollen

Person som arbetar med solpanel och prompten "vilka är fördelarna och nackdelarna med solenergi"

Lista över nackdelar

¹ Bildkälla: DALLE-3

Noggrannhet och hallucinationstendens

Hallucination -> ange ett felaktigt svar med hög säkerhet.

Felaktigt svar på frågan "vem var den första personen att gå på månen"

¹ Bildkälla: DALLE-3

Relevans – att möta kontexten

Relevans -> svaret överensstämmer med promptens kontext och syfte. Vilka är de populäraste turistattraktionerna i Paris

¹ Bildkälla: DALLE-3

Relevans – att möta kontexten

Vilka är de populäraste turistattraktionerna i Paris, med felaktigt svar markerat

¹ Bildkälla: DALLE-3

Faktakorrekthet bortom brytdatumet

Är försök med universell basinkomst framgångsrika för att minska fattigdom? Ge ditt svar enbart med hänvisning till och citering av tillförlitliga källor.

Faktakorrekthet bortom brytdatumet

ChatGPT:s brytdatum

¹ Bildkälla: ChatGPT

Nu kör vi en övning!

Förstå prompt engineering