Ocena odpowiedzi

Podstawy inżynierii promptów

Alex Banks

Founder & Educator

Jak oceniać odpowiedzi AI?

Każde narzędzie ma swoje ograniczenia. ChatGPT ma datę graniczną wiedzy. Rozwiązanie: przemyślane prompty.

1 Źródło obrazów: DALLE-3
Podstawy inżynierii promptów

Cztery filary oceny odpowiedzi

LARF

  • Logical consistency
  • Accuracy
  • Relevance
  • Factual correctness

Uśmiechnięta starsza osoba

1 Źródło obrazów: DALLE-3
Podstawy inżynierii promptów

Spójność logiczna – sprawdzanie koherencji

Osoba pracująca przy panelu słonecznym i prompt „what are the benefits and drawbacks of solar energy"

1 Źródło obrazów: DALLE-3
Podstawy inżynierii promptów

Spójność logiczna – sprawdzanie koherencji

Osoba pracująca przy panelu słonecznym i prompt „what are the benefits and drawbacks of solar energy"

Lista zalet

1 Źródło obrazów: DALLE-3
Podstawy inżynierii promptów

Spójność logiczna – sprawdzanie koherencji

Osoba pracująca przy panelu słonecznym i prompt „what are the benefits and drawbacks of solar energy"

Lista wad

1 Źródło obrazów: DALLE-3
Podstawy inżynierii promptów

Dokładność i skłonność do halucynacji

Halucynacja -> model z przekonaniem podaje błędną odpowiedź.  

Nieprawidłowa odpowiedź na pytanie „who was the first person to walk the moon"

1 Źródło obrazów: DALLE-3
Podstawy inżynierii promptów

Trafność – zgodność z kontekstem

Trafność -> odpowiedź odpowiada kontekstowi i intencji promptu.   What are the top tourist attractions in Paris

1 Źródło obrazów: DALLE-3
Podstawy inżynierii promptów

Trafność – zgodność z kontekstem

Pytanie o atrakcje turystyczne w Paryżu z zaznaczoną nieprawidłową odpowiedzią

1 Źródło obrazów: DALLE-3
Podstawy inżynierii promptów

Poprawność faktyczna po dacie granicznej wiedzy

Are universal basic income trials successful in reducing poverty? Provice your answer by only referencing and citing reliable sources.

Podstawy inżynierii promptów

Poprawność faktyczna po dacie granicznej wiedzy

Daty graniczne wiedzy ChatGPT

1 Źródło obrazów: ChatGPT
Podstawy inżynierii promptów

Czas na praktykę!

Podstawy inżynierii promptów

Preparing Video For Download...