Токенизация и трансформеры

Средний уровень ChatGPT

Alex Banks

Founder & Educator

Токенизация

Иллюстрация: мужчина смотрит на персонажа-трансформера и представляет слово «Токены»

Токенизация

Иллюстрация мужчины, внешне напоминающего Терминатора

Кодирование

Иллюстрация мужчины, внешне напоминающего Терминатора

Векторизация

Иллюстрация мужчины, внешне напоминающего Терминатора

Декодирование

Иллюстрация мужчины, внешне напоминающего Терминатора

Самовнимание

Робот-трансформер рядом с весами

Самовнимание

Иллюстрация кошки, сидящей на коврике

Связи между токенами

На изображении два ярких робота внутри большого розового сердца с маленькими сердечками вокруг. Робот слева подписан «it», робот справа — «the cat». Слева от сердца вертикально расположены три фрагмента текста синего цвета: «the cat», «sat» и «the cat»

Понимание контекста

На изображении два ярких робота сидят рядом; робот справа делает жест рукой, как будто говорит.

Давайте потренируемся!

Средний уровень ChatGPT