Токенізація та трансформери

Середній рівень ChatGPT

Alex Banks

Founder & Educator

Токенізація

Ілюстрація: чоловік дивиться на персонажа типу Transformer і уявляє слово «Tokens»

Токенізація

Ілюстрація чоловіка з подобою персонажа фільму «Термінатор»

Кодування

Ілюстрація чоловіка з подобою персонажа фільму «Термінатор»

Векторизація

Ілюстрація чоловіка з подобою персонажа фільму «Термінатор»

Декодування

Ілюстрація чоловіка з подобою персонажа фільму «Термінатор»

Самоувага

Персонаж-робот у стилі Transformer поруч із терезами

Самоувага

Ілюстрація: кіт сидить на килимку

Зв'язки між токенами

На зображенні два яскраві роботи всередині великого рожевого серця з меншими сердечками довкола. Лівий робот має мітку «it», правий — «the cat». Ліворуч від серця вертикально подано три фрагменти тексту: «the cat», «sat» і «the cat», усі синім кольором

Контекстне розуміння

На зображенні два яскраві роботи, що сидять поруч; правий робот жестом ніби говорить.

Давайте потренуємось!

Середній рівень ChatGPT