Оцінювання відповідей

Розуміння Prompt Engineering

Alex Banks

Founder & Educator

Вступ до оцінювання відповідей

У кожного інструмента є обмеження. У ChatGPT — дата відсікання знань. Рішення: розумні підказки.

1 Джерело зображень: DALLE-3
Розуміння Prompt Engineering

Чотири наріжні камені оцінювання

LARF

  • Logical consistency
  • Accuracy
  • Relevance
  • Factual correctness

Усміхнена літня людина

1 Джерело зображень: DALLE-3
Розуміння Prompt Engineering

Логічна узгодженість — перевірка зв'язності

Людина працює з сонячною панеллю і підказка «what are the benefits and drawbacks of solar energy»

1 Джерело зображень: DALLE-3
Розуміння Prompt Engineering

Логічна узгодженість — перевірка зв'язності

Людина працює з сонячною панеллю і підказка «what are the benefits and drawbacks of solar energy»

Список переваг

1 Джерело зображень: DALLE-3
Розуміння Prompt Engineering

Логічна узгодженість — перевірка зв'язності

Людина працює з сонячною панеллю і підказка «what are the benefits and drawbacks of solar energy»

Список недоліків

1 Джерело зображень: DALLE-3
Розуміння Prompt Engineering

Точність і схильність до галюцинацій

Галюцинація → впевнене подання неправильної відповіді.  

Неправильна відповідь на запитання «who was the first person to walk the moon»

1 Джерело зображень: DALLE-3
Розуміння Prompt Engineering

Доречність — відповідність контексту

Доречність → відповідь відповідає контексту й наміру підказки.   What are the top tourist attractions in Paris

1 Джерело зображень: DALLE-3
Розуміння Prompt Engineering

Доречність — відповідність контексту

What are the top tourist attractions in Paris з позначеною неправильною відповіддю

1 Джерело зображень: DALLE-3
Розуміння Prompt Engineering

Фактична коректність після дати відсікання

Are universal basic income trials successful in reducing poverty? Provice your answer by only referencing and citing reliable sources.

Розуміння Prompt Engineering

Фактична коректність після дати відсікання

Дати відсікання знань ChatGPT

1 Джерело зображень: ChatGPT
Розуміння Prompt Engineering

Давайте потренуємось!

Розуміння Prompt Engineering

Preparing Video For Download...