Antwoorden evalueren

Prompt Engineering begrijpen

Alex Banks

Founder & Educator

Introductie: antwoorden evalueren

Elk hulpmiddel heeft beperkingen. ChatGPT heeft een knowledge cutoff. Oplossing: slim prompten.

¹ Bron afbeeldingen: DALLE-3

De vier pijlers van evaluatie

LARF

Logical consistency
Accuracy
Relevance
Factual correctness

Blije, glimlachende oudere persoon

¹ Bron afbeeldingen: DALLE-3

Logische consistentie - de coherentiecheck

Persoon werkt aan zonnepaneel en de prompt "what are the benefits and drawbacks of solar energy"

¹ Bron afbeeldingen: DALLE-3

Logische consistentie - de coherentiecheck

Persoon werkt aan zonnepaneel en de prompt "what are the benefits and drawbacks of solar energy"

Lijst met voordelen

¹ Bron afbeeldingen: DALLE-3

Logische consistentie - de coherentiecheck

Persoon werkt aan zonnepaneel en de prompt "what are the benefits and drawbacks of solar energy"

Lijst met nadelen

¹ Bron afbeeldingen: DALLE-3

Nauwkeurigheid en de neiging tot hallucineren

Hallucinatie -> een fout antwoord zelfverzekerd geven.

Onjuist antwoord op de vraag "who was the first person to walk the moon"

¹ Bron afbeeldingen: DALLE-3

Relevantie - aansluiten op de context

Relevantie -> het antwoord past bij context en intentie van de prompt. Wat zijn de topbezienswaardigheden in Parijs

¹ Bron afbeeldingen: DALLE-3

Relevantie - aansluiten op de context

Wat zijn de topbezienswaardigheden in Parijs met onjuist antwoord gemarkeerd

¹ Bron afbeeldingen: DALLE-3

Feitelijkheid voorbij de cutoff-datum

Zijn proeven met een universeel basisinkomen succesvol in het verminderen van armoede? Geef je antwoord alleen met verwijzingen naar en citaties van betrouwbare bronnen.

Feitelijkheid voorbij de cutoff-datum

ChatGPT cutoff-datums

¹ Bron afbeeldingen: ChatGPT

Laten we oefenen!

Prompt Engineering begrijpen