Tokenización y transformers

ChatGPT intermedio

Alex Banks

Founder & Educator

Tokenización

Ilustración de un hombre mirando a un personaje tipo Transformer, imaginando la palabra "Tokens"

Tokenización

Ilustración de un hombre con el parecido del personaje de la película Terminator

Codificación

Ilustración de un hombre con el parecido del personaje de la película Terminator

Vectorización

Ilustración de un hombre con el parecido del personaje de la película Terminator

Decodificación

Ilustración de un hombre con el parecido del personaje de la película Terminator

Autoatención

Personaje tipo Transformer junto a una balanza

Autoatención

Ilustración de un gato sentado en una alfombra

Relaciones entre tokens

La imagen muestra dos robots coloridos dentro de un gran corazón rosa con corazones pequeños alrededor. El robot de la izquierda está etiquetado "it" y el de la derecha "the cat". A la izquierda del corazón, se ven tres fragmentos de texto en vertical: "the cat", "sat" y "the cat", en azul

Comprensión contextual

La imagen muestra dos robots coloridos sentados juntos; el de la derecha hace un gesto como si hablara.

¡Vamos a practicar!

ChatGPT intermedio