Tokenization en Transformers

ChatGPT voor gevorderden

Alex Banks

Founder & Educator

Tokenization

Illustratie van een man die naar een Transformer-achtig personage kijkt en aan het woord "Tokens" denkt

Tokenization

Illustratie van een man die lijkt op het filmpersonage Terminator

Codering

Illustratie van een man die lijkt op het filmpersonage Terminator

Vectorisatie

Illustratie van een man die lijkt op het filmpersonage Terminator

Decodering

Illustratie van een man die lijkt op het filmpersonage Terminator

Self-attention

Transformer-achtige robot naast een weegschaal

Self-attention

Illustratie van een kat die op een kleed zit

Tokenrelaties

De afbeelding toont twee kleurrijke robots in een groot roze hart met kleinere hartjes eromheen. De linkerrobot heet "it" en de rechter "the cat". Links van het hart staan drie tekstsnippers onder elkaar: "the cat", "sat" en "the cat", allemaal in blauw

Contextueel begrip

De afbeelding toont twee kleurrijke robots naast elkaar; de rechter maakt een handgebaar alsof hij spreekt.

Laten we oefenen!

ChatGPT voor gevorderden