Prezentare generală a NLP

Concepte privind Modelele de Limbaj de Mari Dimensiuni (LLM)

Vidhi Chugh

AI strategist and ethicist

Unde ne aflăm?

Diagramă de progres care arată prima etapă, preprocesarea textului

Concepte privind Modelele de Limbaj de Mari Dimensiuni (LLM)

Preprocesarea textului

  • Pot fi efectuate în orice ordine, fiind independente

Cele mai comune trei etape de preprocesare a textului

Concepte privind Modelele de Limbaj de Mari Dimensiuni (LLM)

Tokenizare

  • Împarte textul în cuvinte individuale sau tokeni

 

  • Text:

    • "Working with natural language processing techniques is tricky."

     

  • Tokenizare:

    • ["Working", "with", "natural", "language", "processing", "techniques", "is", "tricky", "."]
    • Convertește într-o listă
Concepte privind Modelele de Limbaj de Mari Dimensiuni (LLM)

Eliminarea cuvintelor de oprire

  • Cuvintele de oprire nu adaugă sens
  • Eliminate prin eliminarea cuvintelor de oprire

 

  • Înainte de eliminare:
    • ["Working", "with", "natural", "language", "processing", "techniques", "is", "challenging", "."]

 

  • După eliminare:
    • ["Working", "natural", "language", "processing", "techniques", "challenging", "."]
Concepte privind Modelele de Limbaj de Mari Dimensiuni (LLM)

Lematizare

 

  • Grupează cuvinte ușor diferite cu sens similar

 

  • Reduce cuvintele la forma de bază

 

  • Mapate la cuvântul rădăcină

 

  • Talking -> Talk

  • Talked -> Talk

  • Talk -> Talk

Concepte privind Modelele de Limbaj de Mari Dimensiuni (LLM)

Reprezentarea textului

Diagramă de progres care arată că am ajuns la etapa de reprezentare a textului

Concepte privind Modelele de Limbaj de Mari Dimensiuni (LLM)

Reprezentarea textului

 

  • Datele text în formă numerică

 

  • Bag-of-words
  • Vectori de cuvinte

Imagine reprezentând vorbirea ca numere

Concepte privind Modelele de Limbaj de Mari Dimensiuni (LLM)

Bag-of-words

 

  • Text într-o matrice de frecvențe ale cuvintelor

O matrice cu reprezentare bag-of-words

  • 0 reprezintă absența unui cuvânt
Concepte privind Modelele de Limbaj de Mari Dimensiuni (LLM)

Limitări ale bag-of-words

  • Nu surprinde ordinea sau contextul

    • Poate duce la interpretări incorecte
    • Propoziții similare, dar cu sens opus
      • "The cat chased the mouse swiftly."
      • "The mouse chased the cat."

  • Nu surprinde semantica dintre cuvinte

    • Tratează cuvintele înrudite ca independente
    • Precum „cat" și „mouse"
Concepte privind Modelele de Limbaj de Mari Dimensiuni (LLM)

Vectori de cuvinte

  • Surprind sensurile semantice ca numere

 

Cat Mouse
Plant -0.9 -0.8
Furry 0.9 0.7
Carnivore 0.9 -0.8

 

  • Cat [-0.9, 0.9, 0.9]
  • Relație prădător-pradă:

Vectori de cuvinte prădător-pradă

Concepte privind Modelele de Limbaj de Mari Dimensiuni (LLM)

Formă citibilă de mașină

 

  • Începeți cu preprocesarea textului

Flux de pregătire a datelor

Concepte privind Modelele de Limbaj de Mari Dimensiuni (LLM)

Formă citibilă de mașină

 

  • Convertiți textul preprocsat în format numeric

Flux de pregătire a datelor cu etapele de reprezentare a textului

Concepte privind Modelele de Limbaj de Mari Dimensiuni (LLM)

Să exersăm!

Concepte privind Modelele de Limbaj de Mari Dimensiuni (LLM)

Preparing Video For Download...