Avaliação das respostas

Noções Básicas de Engenharia de Prompts.

Alex Banks

Founder & Educator

Introdução à avaliação de respostas

Toda ferramenta tem suas limitações. O ChatGPT tem um limite de conhecimento. Solução: prompt inteligente

¹ Fonte das imagens: DALLE-3

Os quatro pilares da avaliação

LARF

Consistência Lógica
Precisão (Accuracy)
Relevância
Exatidão dos Fatos

Pessoa idosa feliz e sorridente

¹ Fonte das imagens: DALLE-3

Consistência lógica - a verificação da coerência

Pessoa trabalhando em um painel solar e a pergunta "quais são os benefícios e as desvantagens da energia solar"

¹ Fonte das imagens: DALLE-3

Consistência lógica - a verificação da coerência

Pessoa trabalhando em um painel solar e a pergunta "quais são os benefícios e as desvantagens da energia solar"

Lista de benefícios

¹ Fonte das imagens: DALLE-3

Consistência lógica - a verificação da coerência

Pessoa trabalhando em um painel solar e a pergunta "quais são os benefícios e as desvantagens da energia solar"

Lista de desvantagens

¹ Fonte das imagens: DALLE-3

Precisão e tendência à alucinação

Alucinação -> declarar com confiança uma resposta incorreta.

Resposta incorreta à pergunta "quem foi a primeira pessoa a andar na Lua"

¹ Fonte das imagens: DALLE-3

Relevância - atender ao contexto

Relevância -> resposta alinhada com o contexto e a intenção da solicitação. Quais são as principais atrações turísticas de Paris

¹ Fonte das imagens: DALLE-3

Relevância - atender ao contexto

Quais são as principais atrações turísticas de Paris com resposta incorreta destacada?

¹ Fonte das imagens: DALLE-3

Exatidão dos fatos após a data de corte

Os testes de renda básica universal são bem-sucedidos na redução da pobreza? Forneça sua resposta apenas com referências e citações de fontes confiáveis .

Exatidão dos fatos após a data de corte

Datas de corte do ChatGPT

¹ Fonte das imagens: ChatGPT

Vamos praticar!

Noções Básicas de Engenharia de Prompts.