Retos del modelado lingüístico

Conceptos de grandes modelos lingüísticos (LLM)

Vidhi Chugh

AI strategist and ethicist

¡El orden importa!

 

  • Yo solo sigo un estilo de vida saludable.

 

 

  • Diferentes posiciones = diferentes significados

 

  • Solo yo sigo un estilo de vida saludable.

Ilustración de una persona con dos flechas en direcciones opuestas y un signo de interrogación sobre su cabeza.

1 Freepik
Conceptos de grandes modelos lingüísticos (LLM)

Modelado de contexto

Una imagen que muestra la palabra «Run» puede tener múltiples significados dependiendo del contexto.

Conceptos de grandes modelos lingüísticos (LLM)

Modelado de contexto

![Imagen que muestra la palabra «Run» para referirse al deporte. (https://assets.datacamp.com/production/repositories/6289/datasets/d20d8578916547616c999f65c91f32bc8f3c446d/newrun2.png = 80)

Conceptos de grandes modelos lingüísticos (LLM)

Modelado de contexto

Imagen que muestra la palabra «Run» para referirse a gestionar u organizar.

Conceptos de grandes modelos lingüísticos (LLM)

Modelado de contexto

Imagen que muestra la palabra «Run» para referirse al funcionamiento de una máquina

Conceptos de grandes modelos lingüísticos (LLM)

Modelado de contexto

Añadiendo más contexto a la imagen anterior, se apoyan diferentes significados contextuales con la ayuda de ejemplos.

Conceptos de grandes modelos lingüísticos (LLM)

Dependencia de largo alcance

 

  • Reconocer y conectar palabras distantes en una oración.
  • Un reto para los modelos lingüísticos tradicionales

Un ejemplo de dependencia de largo alcance: "El libro que la joven, que acababa de regresar de sus vacaciones, colocó cuidadosamente en la estantería era bastante pesado".

Conceptos de grandes modelos lingüísticos (LLM)

Aprendizaje monotarea

Imagen que muestra tres ejemplos de aprendizaje de tareas únicas, como la subtitulación de imágenes, el resumen de textos y la traducción de idiomas.

  • Requiere mucho tiempo y recursos.
  • Menos flexible en comparación con los LLM modernos.
Conceptos de grandes modelos lingüísticos (LLM)

Aprendizaje multitarea

Imagen que muestra el aprendizaje multitarea, que combina múltiples capacidades en un solo modelo.

  • Mejora del rendimiento en cada tarea individual.
  • Podría afectar a la precisión y la eficiencia.
  • Se necesitan menos datos de entrenamiento porque los datos se comparten.
Conceptos de grandes modelos lingüísticos (LLM)

Recapitulemos

Retos del modelado lingüístico

  • Secuencias de palabras

 

  • Comprender el contexto

 

  • Dependencia de largo alcance

Aprendizaje monotarea

  • Específico para cada tarea
  • Menos flexible
  • Modelos tradicionales y primeros LLM

 

Aprendizaje multitarea:

  • Versátil
  • Tareas múltiples
  • Modelos de lenguaje más desarrollados
Conceptos de grandes modelos lingüísticos (LLM)

¡Vamos a practicar!

Conceptos de grandes modelos lingüísticos (LLM)

Preparing Video For Download...