Tokenization en Transformers

ChatGPT voor gevorderden

Alex Banks

Founder & Educator

Tokenization

Illustratie van een man die naar een Transformer-achtig personage kijkt en aan het woord "Tokens" denkt

Tokenization

Illustratie van een man die lijkt op het filmpersonage Terminator

Codering

Illustratie van een man die lijkt op het filmpersonage Terminator

Vectorisatie

Illustratie van een man die lijkt op het filmpersonage Terminator

Decodering

Illustratie van een man die lijkt op het filmpersonage Terminator

Self-attention

Robot à la Transformer naast een weegschaal

Self-attention

Illustratie van een kat die op een mat zit

Token-relaties

Twee kleurrijke robots in een groot roze hart met kleine hartjes eromheen. Links staat de robot met label "it" en rechts de robot met label "the cat". Links van het hart staan drie blauwe tekstsnippers onder elkaar: "the cat", "sat" en "the cat".

Contextbegrip

Twee kleurrijke robots naast elkaar; de rechter robot maakt een gebaar alsof hij praat.

Laten we oefenen!

ChatGPT voor gevorderden