Mecanisme de atenție

Concepte privind Modelele de Limbaj de Mari Dimensiuni (LLM)

Vidhi Chugh

AI strategist and ethicist

Mecanisme de atenție

Înțelegerea structurilor complexe
Focalizare pe cuvintele importante

Analogia cu lectura:
- Indicii dintr-o carte polițistă
- Focalizare pe conținutul relevant
- Concentrare pe datele esențiale

O carte deschisă cu o lupă

Auto-atenție și atenție multi-cap

Auto-atenție

Ponderează importanța fiecărui cuvânt

Captează dependențe pe distanțe lungi

Atenție multi-cap

Nivel superior de auto-atenție

Împarte intrarea în mai multe capete, fiecare focalizat pe aspecte diferite

Atenția la o petrecere

Atenție: auto și multi-cap

Exemplu:
- Conversație de grup la o petrecere
- Atenție selectivă față de vorbitorul relevant
- Filtrarea zgomotului
- Focalizare pe punctele cheie

persoane așezate într-o conversație de grup

¹ Freepik

Petrecerea continuă

Auto-atenție

Focalizare pe cuvintele fiecărei persoane
Evaluarea și compararea relevanței
Ponderarea contribuției fiecărui vorbitor
Combinare pentru o înțelegere completă

Atenție multi-cap

Împărțirea atenției în "mai multe" canale
Focalizare pe aspecte diferite ale conversației
Emoțiile vorbitorului, subiectul principal și subteme conexe
Procesarea fiecărui aspect și îmbinarea lor

Avantajele atenției multi-cap

„Băiatul a mers la magazin să cumpere alimente și a găsit o reducere la cerealele sale preferate."

Atenție: „băiat", „magazin", „alimente" și „reducere"
Auto-atenție: „băiat" și „el" -> aceeași persoană
Atenție multi-cap: canale multiple
- Personaj („băiat")
- Acțiune („a mers la magazin", „a găsit o reducere")
- Obiecte implicate („alimente", „cereale")

Să exersăm!

Concepte privind Modelele de Limbaj de Mari Dimensiuni (LLM)

Preparing Video For Download...