Оценка ответов

Основы Prompt Engineering

Alex Banks

Founder & Educator

Введение в оценку ответов

У каждого инструмента есть ограничения. У ChatGPT есть дата обрезки знаний. Решение: грамотные промпты.

1 Источник изображений: DALLE-3
Основы Prompt Engineering

Четыре основы оценки

LARF

  • Logical consistency — логическая согласованность
  • Accuracy — точность
  • Relevance — релевантность
  • Factual correctness — фактическая корректность

Улыбающийся пожилой человек

1 Источник изображений: DALLE-3
Основы Prompt Engineering

Логическая согласованность — проверка связности

Человек работает с солнечной панелью, промпт: «каковы преимущества и недостатки солнечной энергии»

1 Источник изображений: DALLE-3
Основы Prompt Engineering

Логическая согласованность — проверка связности

Человек работает с солнечной панелью, промпт: «каковы преимущества и недостатки солнечной энергии»

Список преимуществ

1 Источник изображений: DALLE-3
Основы Prompt Engineering

Логическая согласованность — проверка связности

Человек работает с солнечной панелью, промпт: «каковы преимущества и недостатки солнечной энергии»

Список недостатков

1 Источник изображений: DALLE-3
Основы Prompt Engineering

Точность и склонность к галлюцинациям

Галлюцинация -> уверенно утверждать неверный ответ.  

Неверный ответ на вопрос «кто первым вышел на поверхность Луны»

1 Источник изображений: DALLE-3
Основы Prompt Engineering

Релевантность — соответствие контексту

Релевантность -> ответ соответствует контексту и цели промпта.   Каковы главные туристические достопримечательности Парижа

1 Источник изображений: DALLE-3
Основы Prompt Engineering

Релевантность — соответствие контексту

Вопрос о главных туристических достопримечательностях Парижа с выделенным неверным ответом

1 Источник изображений: DALLE-3
Основы Prompt Engineering

Фактическая корректность за пределами даты обрезки

Успешны ли эксперименты с универсальным базовым доходом в сокращении бедности? Дайте ответ, опираясь только на надёжные источники и ссылаясь на них.

Основы Prompt Engineering

Фактическая корректность за пределами даты обрезки

Даты обрезки знаний ChatGPT

1 Источник изображений: ChatGPT
Основы Prompt Engineering

Давайте потренируемся!

Основы Prompt Engineering

Preparing Video For Download...