Provocările modelării limbajului

Concepte privind Modelele de Limbaj de Mari Dimensiuni (LLM)

Vidhi Chugh

AI strategist and ethicist

Ordinea contează!

 

  • Eu urmez doar un stil de viață sănătos.

 

 

  • Poziții diferite = sensuri diferite

 

  • Doar eu urmez un stil de viață sănătos.

Ilustrație cu o persoană, două săgeți în direcții opuse și un semn de întrebare deasupra capului.

1 Freepik
Concepte privind Modelele de Limbaj de Mari Dimensiuni (LLM)

Modelarea contextului

Imagine cu cuvântul „Run", care poate avea mai multe sensuri în funcție de context.

Concepte privind Modelele de Limbaj de Mari Dimensiuni (LLM)

Modelarea contextului

Imagine cu cuvântul „Run" cu sensul de a alerga.

Concepte privind Modelele de Limbaj de Mari Dimensiuni (LLM)

Modelarea contextului

Imagine cu cuvântul „Run" cu sensul de a gestiona sau organiza.

Concepte privind Modelele de Limbaj de Mari Dimensiuni (LLM)

Modelarea contextului

Imagine cu cuvântul „Run" cu sensul de a opera o mașinărie

Concepte privind Modelele de Limbaj de Mari Dimensiuni (LLM)

Modelarea contextului

Imagine care adaugă context prin exemple pentru diferite sensuri ale cuvântului „Run".

Concepte privind Modelele de Limbaj de Mari Dimensiuni (LLM)

Dependența la distanță lungă

 

  • Recunoaște și conectează cuvinte îndepărtate într-o propoziție
  • Dificil pentru modelele tradiționale de limbaj

Exemplu de dependență la distanță lungă: „Cartea pe care fata tânără, care tocmai se întorsese din vacanță, a așezat-o cu grijă pe raft era destul de grea."

Concepte privind Modelele de Limbaj de Mari Dimensiuni (LLM)

Învățarea cu o singură sarcină

Imagine cu trei exemple de învățare cu o singură sarcină: descrierea imaginilor, rezumarea textelor și traducerea.

  • Costisitor în timp și resurse
  • Mai puțin flexibil față de LLM-urile moderne
Concepte privind Modelele de Limbaj de Mari Dimensiuni (LLM)

Învățarea multi-sarcină

Imagine cu învățarea multi-sarcină, care combină mai multe capabilități într-un singur model.

  • Performanță îmbunătățită pentru fiecare sarcină în parte
  • Poate afecta acuratețea și eficiența
  • Date de antrenare mai puține, deoarece sunt partajate
Concepte privind Modelele de Limbaj de Mari Dimensiuni (LLM)

Recapitulare

Provocările modelării limbajului:

  • Secvențe de cuvinte

 

  • Înțelegerea contextului

 

  • Dependența la distanță lungă

Învățarea cu o singură sarcină:

  • Specifică sarcinii
  • Mai puțin flexibilă
  • Modele tradiționale și LLM-uri timpurii

 

Învățarea multi-sarcină:

  • Versatilă
  • Sarcini multiple
  • LLM-uri mai avansate
Concepte privind Modelele de Limbaj de Mari Dimensiuni (LLM)

Să exersăm!

Concepte privind Modelele de Limbaj de Mari Dimensiuni (LLM)

Preparing Video For Download...