GPT-modeller och träning av LLM:er

Intermediate ChatGPT

Alex Banks

Founder & Educator

GPT:s ursprung

Bilden visar en förvånad man till vänster som tittar på tre lila staplar av ökande storlek märkta GPT-1, GPT-2 och GPT-3 från vänster till höger, vilket illustrerar tillväxten i storlek för varje version

GPT:s ursprung

En illustration föreställer en man som står och tittar mot en oval form som representerar en neuron

GPT förklarat

En illustration visar en förvirrad man med ett frågetecken ovanför huvudet. Till höger om honom visas texten 'Generative Pre-trained Transformer', med en pil som pekar mot 'GPT' i fetstil och understruken

En illustration föreställer en man som skriver i ett anteckningsblock med en penna. Till vänster om honom visas ordet 'Generative'

Illustration av en man som springer med böcker och elektroniska enheter efter sig, med ordet 'Pre-trained' till höger

Illustration av en man som förvandlas från ett tillstånd till ett annat, med ordet 'Transformer' ovanför

Illustration av en man som sitter med en bärbar dator, bredvid ChatGPT-logotypen

Hur tränas LLM:er?

Illustration av en kvinna som läser en bok bredvid en stor robot – båda tittar i boken

Steg 1 – Förträning

Stora mängder lågkvalitativ internetdata Illustration av en kvinna som håller ett urklipp, med ett diagram och en tabell som beskriver förträningsprocessen och data för GPT-modeller

Steg 2 – Finjustering

Små mängder högkvalitativ konversationsdata Illustration av en kvinna som står bredvid en robot, med exempel på konversationsdata

Steg 3 – RLHF

RLHF = Reinforcement Learning from Human Feedback

Illustration av två kvinnor som håller upp kort med frågetecken, med tankebubblor som säger 'Option A' och 'Option B' ovanför deras huvuden

AI:s roll i att skapa jämförelseetiketter

Illustration av en kvinna som ger tummen upp bredvid en robot, med tre haiku om AI visade på skärmar. Kvinnan och roboten har tankebubblor som säger 'Den här!'

AI:s roll i att skapa jämförelseetiketter

Märkning är ett samarbete mellan människa och maskin

Illustration som visar en personikon och en robotikon kopplade via ett reglage, med en kvinna och en stor robot som står bredvid dem i harmoni

Nu kör vi en övning!

Intermediate ChatGPT