Evaluar las respuestas

Comprender la ingeniería de prompts

Alex Banks

Founder & Educator

Introducción a la evaluación de respuestas

Cada herramienta tiene sus limitaciones. ChatGPT tiene un límite de conocimiento. Solución: prompts inteligentes

1 Fuente de las imágenes: DALLE-3
Comprender la ingeniería de prompts

Las cuatro piedras angulares de la evaluación

LARF

  • Logical consistency (coherencia lógica)
  • Accuracy (exactitud)
  • Relevance (relevancia)
  • Factual correctness (corrección de los hechos)

Persona mayor feliz y sonriente

1 Fuente de las imágenes: DALLE-3
Comprender la ingeniería de prompts

Coherencia lógica: la comprobación de coherencia

Persona que trabaja en un panel solar y el prompt "¿cuáles son las ventajas y los inconvenientes de la energía solar?"

1 Fuente de las imágenes: DALLE-3
Comprender la ingeniería de prompts

Coherencia lógica: la comprobación de coherencia

Persona que trabaja en un panel solar y el prompt "¿cuáles son las ventajas y los inconvenientes de la energía solar?"

Lista de ventajas

1 Fuente de las imágenes: DALLE-3
Comprender la ingeniería de prompts

Coherencia lógica: la comprobación de coherencia

Persona que trabaja en un panel solar y el prompt "¿cuáles son las ventajas y los inconvenientes de la energía solar?"

Lista de inconvenientes

1 Fuente de las imágenes: DALLE-3
Comprender la ingeniería de prompts

La precisión y la tendencia a la alucinación

Alucinación -> afirma con seguridad una respuesta incorrecta.  

Respuesta incorrecta a la pregunta "¿quién fue la primera persona que pisó la luna?"

1 Fuente de las imágenes: DALLE-3
Comprender la ingeniería de prompts

Pertinencia: responder al contexto

Pertinencia -> la respuesta se ajusta al contexto y a la intención del prompt.   Cuáles son las principales atracciones turísticas de París

1 Fuente de las imágenes: DALLE-3
Comprender la ingeniería de prompts

Pertinencia: responder al contexto

Cuáles son las principales atracciones turísticas de París con respuesta incorrecta destacada

1 Fuente de las imágenes: DALLE-3
Comprender la ingeniería de prompts

Corrección de los hechos más allá de la fecha límite

¿Los intentos de renta básica universal consiguen reducir la pobreza? Proporciona tu respuesta referenciando y citando únicamente fuentes fiables

Comprender la ingeniería de prompts

Corrección de los hechos más allá de la fecha límite

Fechas límite de ChatGPT

1 Fuente de las imágenes: ChatGPT
Comprender la ingeniería de prompts

¡Vamos a practicar!

Comprender la ingeniería de prompts

Preparing Video For Download...