Introducere în transformer

Concepte privind Modelele de Limbaj de Mari Dimensiuni (LLM)

Vidhi Chugh

AI strategist and ethicist

Unde ne aflăm?

Diagramă de progres indicând că ne aflăm la etapa de învățare a transformerului

Concepte privind Modelele de Limbaj de Mari Dimensiuni (LLM)

Ce este un transformer?

  • „Attention Is All You Need"
    • A revoluționat modelarea limbajului

 

  • Arhitectura transformer
    • Relația dintre cuvinte
    • Componente: preprocesare, codare pozițională, encodere și decodere

Fragment din articolul „Attention is all you need"

1 arXiv: Attention Is All You Need
Concepte privind Modelele de Limbaj de Mari Dimensiuni (LLM)

În interiorul transformerului

 

  • Intrare: Jane, care locuiește în New York și lucrează ca software

 

Componentele interne și fluxul de date în interiorul unui transformer

 

  • Ieșire: engineer, loves exploring new restaurants in the city.
Concepte privind Modelele de Limbaj de Mari Dimensiuni (LLM)

Transformerele sunt ca o orchestră

Imagine cu o orchestră

Concepte privind Modelele de Limbaj de Mari Dimensiuni (LLM)

Preprocesare și reprezentare text

  • Preprocesare text: tokenizare, eliminare stop words, lematizare
  • Reprezentare text: word embedding

Evidențierea primei componente a unui transformer și câteva note individuale

Concepte privind Modelele de Limbaj de Mari Dimensiuni (LLM)

Codare pozițională

  • Informații despre poziția fiecărui cuvânt
  • Înțelegerea cuvintelor îndepărtate

Evidențierea celei de-a doua componente a unui transformer și o piesă muzicală

Concepte privind Modelele de Limbaj de Mari Dimensiuni (LLM)

Encodere

  • Mecanism de atenție: direcționează atenția spre cuvinte și relații specifice
  • Rețea neuronală: procesează caracteristici specifice

Encoder în fluxul transformerului

Concepte privind Modelele de Limbaj de Mari Dimensiuni (LLM)

Decodere

  • Include atenție și rețele neuronale
  • Generează rezultatul

Componenta decoder a unui transformer

Concepte privind Modelele de Limbaj de Mari Dimensiuni (LLM)

Transformere și dependențe pe distanțe lungi

 

  • Provocare inițială: dependențe pe distanțe lungi
  • Atenție: focalizare pe diferite părți ale intrării

 

  • Exemplu: "Jane, care locuiește în New York și lucrează ca inginer software, iubește să exploreze restaurante noi în oraș."

  • "Jane" --- "iubește să exploreze restaurante noi"

Concepte privind Modelele de Limbaj de Mari Dimensiuni (LLM)

Procesează mai multe părți simultan

  • Limitare a modelelor tradiționale:
    • Secvențiale — un cuvânt pe rând

 

  • Transformere:
    • Procesează mai multe părți simultan
    • Procesare mai rapidă

 

  • De exemplu:
    • "The cat sat on the mat"
    • Procesează „cat", „sat", „on", „the" și „mat" în același timp
Concepte privind Modelele de Limbaj de Mari Dimensiuni (LLM)

Să exersăm!

Concepte privind Modelele de Limbaj de Mari Dimensiuni (LLM)

Preparing Video For Download...