Algemeen overzicht van NLP

Concepten van Large Language Models (LLM's)

Vidhi Chugh

AI strategist and ethicist

Waar zijn we?

Voortgangsgrafiek met de eerste stap: tekstvoorbewerking

Concepten van Large Language Models (LLM's)

Tekstvoorbewerking

  • Kun je in willekeurige volgorde doen; ze zijn onafhankelijk

Drie meestvoorkomende stappen voor tekstvoorbewerking

Concepten van Large Language Models (LLM's)

Tokenization

  • Splitst tekst in losse woorden, of tokens

 

  • Tekst:

    • "Working with natural language processing techniques is tricky."

     

  • Tokenization:

    • ["Working", "with", "natural", "language", "processing", "techniques", "is", "tricky", "."]
    • Zet om naar een lijst
Concepten van Large Language Models (LLM's)

Stopwoordverwijdering

  • Stopwoorden voegen geen betekenis toe
  • Verwijder je via stopwoordverwijdering

 

  • Voor stopwoordverwijdering:
    • ["Working", "with", "natural", "language", "processing", "techniques", "is", "challenging", "."]

 

  • Na stopwoordverwijdering:
    • ["Working", "natural", "language", "processing", "techniques", "challenging", "."]
Concepten van Large Language Models (LLM's)

Lemmatization

 

  • Groepeert licht verschillende woorden met vergelijkbare betekenis

 

  • Brengt woorden terug tot hun grondvorm

 

  • Afgebeeld op de stam

 

  • Talking -> Talk

  • Talked -> Talk

  • Talk -> Talk

Concepten van Large Language Models (LLM's)

Tekstreprentatie

Voortgangsgrafiek die toont dat we de tekstrepresentatiefase hebben bereikt

Concepten van Large Language Models (LLM's)

Tekstrepresentatie

 

  • Tekstgegevens naar numerieke vorm

 

  • Bag-of-words
  • Word embeddings

Afbeelding die spraak als getallen weergeeft

Concepten van Large Language Models (LLM's)

Bag-of-words

 

  • Zet tekst om in een matrix met woordtellingen

Een matrix met een bag-of-words-representatie

  • 0 staat voor afwezigheid van een woord
Concepten van Large Language Models (LLM's)

Beperkingen van bag-of-words

  • Legt volgorde of context niet vast

    • Kan tot verkeerde interpretaties leiden
    • Vergelijkbare zinnen met tegengestelde betekenis
      • "The cat chased the mouse swiftly."
      • "The mouse chased the cat."

  • Legt semantiek tussen woorden niet vast

    • Behandelt verwante woorden als onafhankelijk
    • Zoals "cat" en "mouse"
Concepten van Large Language Models (LLM's)

Word embeddings

  • Leggen semantische betekenissen vast als getallen

 

Cat Mouse
Plant -0.9 -0.8
Furry 0.9 0.7
Carnivore 0.9 -0.8

 

  • Cat [-0.9, 0.9, 0.9]
  • Predator-prooirelatie:

Predator-prooi word embeddings

Concepten van Large Language Models (LLM's)

Machineleesbare vorm

 

  • Begin met tekstvoorbewerking

Workflow voor datapreparatie

Concepten van Large Language Models (LLM's)

Machineleesbare vorm

 

  • Zet voorbewerkte tekst om naar numeriek formaat

Workflow voor datapreparatie met stappen voor tekstrepresentatie

Concepten van Large Language Models (LLM's)

Laten we oefenen!

Concepten van Large Language Models (LLM's)

Preparing Video For Download...