Bouwstenen om LLM's te trainen

Concepten van Large Language Models (LLM's)

Vidhi Chugh

AI strategist and ethicist

Waar staan we?

Afbeelding die de leerprogressie als Pre-training toont

Concepten van Large Language Models (LLM's)

Generatieve pre-training

 

  • Getraind met generatieve pre-training

    • Invoergegevens van teksttokens
    • Getraind om tokens in de gegevensset te voorspellen

 

  • Types:
    • Volgend woord voorspellen
    • Masked language modeling
Concepten van Large Language Models (LLM's)

Volgend woord voorspellen

  • Gecontroleerde leertechniek
    • Model getraind op input-outputparen

 

  • Voorspelt het volgende woord en genereert samenhangende tekst
  • Legt afhankelijkheden tussen woorden vast

 

  • Trainingsgegevens
    • Paren van input- en outputvoorbeelden

Automatische suggestie door een zoekmachine

Concepten van Large Language Models (LLM's)

Trainingsdata voor volgend woord voorspellen

Input

The quick brown

The quick brown fox

The quick brown fox jumps

The quick brown fox jumps over

The quick brown fox jumps over the

The quick brown fox jumps over the lazy

The quick brown fox jumps over the lazy dog.

Output

fox

jumps

over

the

lazy

dog

Concepten van Large Language Models (LLM's)

Welk woord past beter bij pizza?

 

  • Meer voorbeelden = betere voorspelling

 

  • Bijvoorbeeld:
    • I love to eat pizza with _ _ _ _ _ _

 

  • Cheese hangt sterker samen met pizza dan iets anders

Kansen van verschillende woordassociaties met het woord "Pizza"

Concepten van Large Language Models (LLM's)

Masked language modeling

  • Verbergt een gekozen woord

  • Getraind model voorspelt het gemaskeerde woord

 

  • Originele tekst: "The quick brown fox jumps over the lazy dog."

  • Gemaskeerde tekst: "The quick [MASK] fox jumps over the lazy dog."

 

  • Doel: voorspel het ontbrekende woord

  • Gebaseerd op wat is geleerd uit trainingsdata

Concepten van Large Language Models (LLM's)

Laten we oefenen!

Concepten van Large Language Models (LLM's)

Preparing Video For Download...