Geavanceerde fine-tuning

Concepten van Large Language Models (LLM's)

Vidhi Chugh

AI strategist and ethicist

Waar staan we?

voortgangsafbeelding die laat zien dat we bij de fase Geavanceerde fine-tuning zijn

Concepten van Large Language Models (LLM's)

Reinforcement Learning through Human Feedback

 

  • Pre-training

 

  • Fine-tuning

 

  • Reinforcement Learning through Human Feedback (RLHF)

 

Illustratie van vier mensen die positief feedback geven met emoji's en sterren.

Concepten van Large Language Models (LLM's)

Pre-training

  • Grote hoeveelheden tekstdata:
    • Websites, boeken en artikelen
    • Transformer-architectuur
    • Leert algemene taalpatronen, grammatica en feiten

 

  • Volgend-woord-voorspelling
  • Gemaskeerde taalmodellering

Pre-trainingproces om LLM's te bouwen

1 Freepik
Concepten van Large Language Models (LLM's)

Fine-tuning

 

  • N-shot training

 

  • Kleine gelabelde dataset voor verwante taak

Fine-tuningproces

Concepten van Large Language Models (LLM's)

Maar waarom RLHF?

  • Algemeen trainingsmateriaal mist kwaliteit
    • Ruis
    • Fouten
    • Inconsistenties
    • Lagere nauwkeurigheid

Voorbeeld van lagere nauwkeurigheid:

  • Getraind op data van online discussieforums
  • Ongecontroleerde meningen en feiten
  • Externe expertvalidatie nodig

 

Schietschijf met pijlen die de roos hebben gemist

Concepten van Large Language Models (LLM's)

Het begint met de noodzaak tot fine-tunen

  • Pre-training
    • Leert onderliggende taalpatronen
    • Vangt contextspecifieke nuances niet

 

  • Fine-tuning
    • Kwalitatief gelabelde data verbetert prestaties

 

  • Enter RLHF!
    • Menselijke feedback
Concepten van Large Language Models (LLM's)

RLHF vereenvoudigd

 

  • Modeluitvoer beoordeeld door mens
  • Werkt model bij op basis van feedback

 

  • Stap 1:
    • Ontvangt een prompt
    • Genereert meerdere antwoorden

 

 

een LLM die een invoerprompt gebruikt en een antwoord genereert

Concepten van Large Language Models (LLM's)

Menselijke expert komt erbij

 

  • Stap 2:
    • Menselijke expert controleert deze antwoorden
    • Rangschikt de antwoorden op kwaliteit
      • Nauwkeurigheid
      • Relevantie
      • Samenhang

menselijke verificatie toevoegen aan het antwoord van de LLM

Concepten van Large Language Models (LLM's)

Tijd voor feedback

  • Stap 3:
    • Leert van de ranking van de expert
    • Om toekomstige antwoorden te laten aansluiten op hun voorkeuren

 

  • En zo door!
    • Blijft antwoorden genereren
    • Ontvangt rankings van experts
    • Past het leren aan

 

 

Menselijke feedback wordt teruggegeven aan de LLM

Concepten van Large Language Models (LLM's)

Samenvatting

  • Pre-training om algemene taalkennis te leren

 

  • Fine-tuning voor specifieke taken

 

  • RLHF-technieken om fine-tuning te versterken met menselijke feedback

 

  • Combinatie is zeer effectief!
Concepten van Large Language Models (LLM's)

De LLM afronden

Het volledige LLM-trainingsproces

Concepten van Large Language Models (LLM's)

Laten we oefenen!

Concepten van Large Language Models (LLM's)

Preparing Video For Download...