Mecanismos de atención

Conceptos de grandes modelos lingüísticos (LLM)

Vidhi Chugh

AI strategist and ethicist

Mecanismos de atención

  • Comprender estructuras complejas
  • Centrarse en las palabras importantes

 

  • Analogía con la lectura de libros:
    • Pistas en un libro de misterio
    • Centrarse en el contenido relevante.
    • Centrarse en los datos de entrada cruciales

Un libro abierto con una lupa

Conceptos de grandes modelos lingüísticos (LLM)

Autoatención y atención múltiple

Self-attention o autoatención

  • Valora la importancia de cada palabra.

 

  • Captura dependencias de largo alcance.

Multi-head attention o atención múltiple

  • El siguiente nivel de autoatención

 

  • Divide la entrada en múltiples cabezales, cada uno de los cuales se centra en diferentes aspectos.
Conceptos de grandes modelos lingüísticos (LLM)

Atención en una fiesta

  • Atención: Autoatención y atención múltiple

 

  • Ejemplo:
    • Conversación en grupo en una fiesta
    • Atención selectiva al interlocutor relevante
    • Filtrar ruido
    • Centrarse en los puntos clave

 

Gente sentada y conversando en grupo.

1 Freepik
Conceptos de grandes modelos lingüísticos (LLM)

La fiesta continúa

Self-attention o autoatención

  • Se centra en las palabras de cada persona.
  • Evalúa y compara su relevancia.
  • Valora las aportaciones de cada participante.
  • Lo combina todo para obtener una comprensión integral.

Multi-head attention o atención múltiple

  • Divide la atención en múltiples canales.
  • Se centra en diferentes aspectos de la conversación.
  • Las emociones del orador, el tema principal y los temas secundarios relacionados.
  • Procesa cada aspecto y los fusiona
Conceptos de grandes modelos lingüísticos (LLM)

Ventajas de la atención múltiple

  • El chico fue a la tienda a comprar algunos alimentos y encontró una oferta en sus cereales favoritos.

 

  • Atención: "chico", "tienda", "comestibles" y "descuento".
  • Autoatención: "niño" y "él" -> misma persona
  • Atención múltiple: múltiples canales
    • Personaje ("chico")
    • Acción ("fue a la tienda", "encontró un descuento").
    • Elementos involucrados ("comestibles", "cereales")
Conceptos de grandes modelos lingüísticos (LLM)

¡Vamos a practicar!

Conceptos de grandes modelos lingüísticos (LLM)

Preparing Video For Download...