Модели GPT и обучение больших языковых моделей

Средний уровень ChatGPT

Alex Banks

Founder & Educator

Как появился GPT

На изображении изображён удивлённый мужчина, смотрящий на три фиолетовых столбца возрастающей высоты с подписями GPT-1, GPT-2 и GPT-3 слева направо — они символизируют рост размера каждой версии

Как появился GPT

На иллюстрации изображён мужчина, смотрящий на овальную фигуру, символизирующую нейрон

Расшифровка аббревиатуры GPT

На иллюстрации изображён растерянный мужчина со знаком вопроса над головой. Справа от него надпись «Generative Pre-trained Transformer» со стрелкой, указывающей на «GPT» жирным шрифтом и подчёркнутое

На иллюстрации изображён мужчина, пишущий в блокноте карандашом. Слева от него слово «Generative»

На иллюстрации изображён бегущий мужчина, за которым тянутся книги и электронные устройства; справа надпись «Pre-trained»

На иллюстрации изображён мужчина, меняющий форму, над ним слово «Transformer»

На иллюстрации изображён мужчина с ноутбуком рядом с логотипом ChatGPT

Как обучают большие языковые модели?

На иллюстрации изображена женщина с книгой рядом с большим роботом — оба смотрят в книгу

Шаг 1 — предобучение

Большие объёмы данных из интернета низкого качества На иллюстрации изображена женщина с планшетом, рядом — график и таблица с описанием процесса предобучения и данных для моделей GPT

Шаг 2 — тонкая настройка

Небольшие объёмы диалоговых данных высокого качества На иллюстрации изображена женщина рядом с роботом и примеры диалоговых данных

Шаг 3 — RLHF

RLHF = обучение с подкреплением на основе обратной связи от людей

На иллюстрации изображены две женщины с карточками со знаками вопроса; над их головами облачка с мыслями «Вариант A» и «Вариант B»

Роль ИИ в формировании сравнительных меток

На иллюстрации изображена женщина с поднятым большим пальцем рядом с роботом; на экранах показаны три хайку об ИИ. Над женщиной и роботом — облачка с мыслями «Вот этот!»

Роль ИИ в формировании сравнительных меток

Разметка — это совместная работа человека и машины

На иллюстрации изображены иконки человека и робота, соединённые ползунком; рядом стоят женщина и большой робот

Давайте потренируемся!

Средний уровень ChatGPT