Generell översikt av NLP

Koncept inom stora språkmodeller (LLM)

Vidhi Chugh

AI strategist and ethicist

Var befinner vi oss?

Framstegsdiagram som visar det första steget, dvs. textförbehandling

Koncept inom stora språkmodeller (LLM)

Textförbehandling

  • Kan utföras i valfri ordning eftersom stegen är oberoende

De tre vanligaste stegen vid textförbehandling

Koncept inom stora språkmodeller (LLM)

Tokenisering

  • Delar upp text i enskilda ord, eller tokens

 

  • Text:

    • "Working with natural language processing techniques is tricky."

     

  • Tokenisering:

    • ["Working", "with", "natural", "language", "processing", "techniques", "is", "tricky", "."]
    • Omvandlar till en lista
Koncept inom stora språkmodeller (LLM)

Stoppordsborttagning

  • Stoppord tillför ingen betydelse
  • Tas bort genom stoppordsborttagning

 

  • Före stoppordsborttagning:
    • ["Working", "with", "natural", "language", "processing", "techniques", "is", "challenging", "."]

 

  • Efter stoppordsborttagning:
    • ["Working", "natural", "language", "processing", "techniques", "challenging", "."]
Koncept inom stora språkmodeller (LLM)

Lemmatisering

 

  • Grupperar ord med liknande betydelse

 

  • Reducerar ord till sin grundform

 

  • Mappas till rotordet

 

  • Talking -> Talk

  • Talked -> Talk

  • Talk -> Talk

Koncept inom stora språkmodeller (LLM)

Textrepresentation

Framstegsdiagram som visar att vi nått steget för textrepresentation

Koncept inom stora språkmodeller (LLM)

Textrepresentation

 

  • Textdata till numerisk form

 

  • Bag-of-words
  • Ordinbäddningar

Bild som visar tal som representerar tal

Koncept inom stora språkmodeller (LLM)

Bag-of-words

 

  • Text till en matris av ordfrekvenser

En matris med en bag-of-words-representation

  • 0 anger att ett ord saknas
Koncept inom stora språkmodeller (LLM)

Begränsningar med bag-of-words

  • Fångar inte ordning eller kontext

    • Kan leda till felaktiga tolkningar
    • Liknande meningar men motsatt betydelse
      • "The cat chased the mouse swiftly."
      • "The mouse chased the cat."

  • Fångar inte semantiken mellan ord

    • Behandlar relaterade ord som oberoende
    • Till exempel "cat" och "mouse"
Koncept inom stora språkmodeller (LLM)

Ordinbäddningar

  • Fångar semantisk betydelse som tal

 

Cat Mouse
Plant -0.9 -0.8
Furry 0.9 0.7
Carnivore 0.9 -0.8

 

  • Cat [-0.9, 0.9, 0.9]
  • Rovdjur–bytesrelation:

Ordinbäddningar för rovdjur och byte

Koncept inom stora språkmodeller (LLM)

Maskinläsbar form

 

  • Börja med textförbehandling

Arbetsflöde för dataförberedelse

Koncept inom stora språkmodeller (LLM)

Maskinläsbar form

 

  • Konvertera förbehandlad text till numeriskt format

Arbetsflöde för dataförberedelse med steg för textrepresentation

Koncept inom stora språkmodeller (LLM)

Nu kör vi en övning!

Koncept inom stora språkmodeller (LLM)

Preparing Video For Download...