Tokenisation et Transformers

ChatGPT niveau intermédiaire

Alex Banks

Founder & Educator

Tokenization

Illustration d'un homme observant un personnage de type Transformer, en imaginant le mot « Tokens »

Tokenization

Illustration représentant un homme ressemblant au personnage du film Terminator

Encodage

Illustration représentant un homme ressemblant au personnage du film Terminator

Vectorisation

Illustration représentant un homme ressemblant au personnage du film Terminator

Décodage

Illustration représentant un homme ressemblant au personnage du film Terminator

Self Attention

Personnage robotique de type Transformer à côté d'une balance

Self Attention

Illustration d'un chat assis sur un tapis

Relations entre tokens

L'image représente deux robots colorés à l'intérieur d'un grand cœur rose entouré de cœurs plus petits. Le robot de gauche est étiqueté « it » et celui de droite « the cat ». À gauche du cœur, trois extraits de texte sont affichés verticalement : « the cat », « sat » et « the cat », tous en bleu

Compréhension du contexte

L'image montre deux robots colorés assis l'un à côté de l'autre, celui de droite faisant un geste de la main comme s'il parlait.

Passons à la pratique !

ChatGPT niveau intermédiaire