Modely GPT a trénování LLM

Intermediate ChatGPT

Alex Banks

Founder & Educator

Vznik GPT

Překvapený muž vlevo hledí na tři fialové sloupce rostoucí velikosti označené GPT-1, GPT-2 a GPT-3 zleva doprava, znázorňující růst každé verze

Vznik GPT

Ilustrace muže stojícího a hledícího na oválný tvar představující neuron

Rozklad zkratky GPT

Ilustrace zmateného muže s otazníkem nad hlavou. Napravo text 'Generative Pre-trained Transformer' se šipkou ukazující na 'GPT' tučně a podtrženě

Ilustrace muže píšícího tužkou do zápisníku. Vlevo je zobrazeno slovo 'Generative'

Ilustrace muže běžícího s knihami a elektronickými zařízeními za sebou, napravo nápis 'Pre-trained'

Ilustrace muže procházejícího transformací, nad ním nápis 'Transformer'

Ilustrace muže sedícího s laptopem vedle loga ChatGPT

Jak se trénují LLM?

Ilustrace ženy čtoucí knihu stojící vedle velkého robota, oba se dívají do knihy

Krok 1 – Předtrénování

Velké množství nekvalitních internetových dat Ilustrace ženy s clipboardem, grafem a tabulkou popisující předtrénování a data modelů GPT

Krok 2 – Doladění

Malé množství vysoce kvalitních konverzačních dat Ilustrace ženy stojící vedle robota s ukázkovými konverzačními daty

Krok 3 – RLHF

RLHF = Reinforcement Learning from Human Feedback

Ilustrace dvou žen držících kartičky s otazníkem a myšlenkovými bublinami s nápisy 'Možnost A' a 'Možnost B'

Role AI při tvorbě srovnávacích označení

Ilustrace ženy ukazující palec nahoru vedle robota, na obrazovkách jsou zobrazena tři haiku o AI. Žena i robot mají myšlenkové bubliny s nápisem 'Tento!'

Role AI při tvorbě srovnávacích označení

Označování je spoluprací člověka a stroje

Ilustrace ikony osoby a robota propojených posuvníkem, vedle nich harmonicky stojí žena a velký robot

Pojďme si procvičit!

Intermediate ChatGPT