Presentación del transformador

Conceptos de grandes modelos lingüísticos (LLM)

Vidhi Chugh

AI strategist and ethicist

¿Dónde estamos?

Gráfico de progreso que muestra que estamos en la fase de aprendizaje del transformador.

Conceptos de grandes modelos lingüísticos (LLM)

¿Qué es un transformador?

  • "Attention Is All You Need"
    • Modelado lingüístico revolucionario

 

  • Arquitectura del transformador
    • Relación entre palabras
    • Componentes: Preprocesamiento, codificación posicional, codificadores y decodificadores

Fragmento del artículo "Attention Is All You Need".

1 arXiv: Attention Is All You Need
Conceptos de grandes modelos lingüísticos (LLM)

Dentro del transformador

 

  • Entrada: Jane, vive en Nueva York y trabaja en informática como ingeniera

 

Componentes internos y flujo de datos dentro de un transformador

 

  • Resultado: de software, y le encanta descubrir nuevos restaurantes en la ciudad
Conceptos de grandes modelos lingüísticos (LLM)

Los transformadores son como una orquesta.

Imagen de una orquesta

Conceptos de grandes modelos lingüísticos (LLM)

Preprocesamiento y representación del texto

  • Preprocesamiento del texto: tokenización, eliminación de palabras vacías, lematización.
  • Representación textual: encajes léxicos

Lo más destacado del primer componente de un transformador y algunas notas individuales.

Conceptos de grandes modelos lingüísticos (LLM)

Codificación posicional

  • Información sobre la posición de cada palabra
  • Entender palabras alejadas

Lo más destacado del segundo componente de un transformador y una pieza musical.

Conceptos de grandes modelos lingüísticos (LLM)

Codificadores

  • Mecanismo de atención: dirige la atención hacia palabras y relaciones específicas.
  • Red neuronal: características específicas del proceso

Codificador en el flujo del transformador

Conceptos de grandes modelos lingüísticos (LLM)

Decodificadores

  • Incluye atención y redes neuronales.
  • Genera la salida

Componente decodificador de un transformador

Conceptos de grandes modelos lingüísticos (LLM)

Transformadores y dependencias de largo alcance

 

  • Reto inicial: dependencia a largo plazo
  • Atención: se centra en diferentes partes de la entrada.

 

  • Ejemplo: Jane, vive en Nueva York y trabaja en informática como ingeniera de software, y le encanta descubrir nuevos restaurantes en la ciudad.

  • "Jane" --- "le encanta descubrir nuevos restaurantes".

Conceptos de grandes modelos lingüísticos (LLM)

Procesa múltiples piezas simultáneamente.

  • Limitaciones de los modelos lingüísticos tradicionales:
    • Secuencial: una palabra a la vez

 

  • Transformadores:
    • Procesar varias piezas simultáneamente
    • Procesamiento más rápido

 

  • Por ejemplo:
    • "El gato se sentó en la alfombra".
    • Procesa "gato", "se sentó", "en", "la" y "alfombra" al mismo tiempo.
Conceptos de grandes modelos lingüísticos (LLM)

¡Vamos a practicar!

Conceptos de grandes modelos lingüísticos (LLM)

Preparing Video For Download...