Sfide del language modeling

Concetti sui Large Language Models (LLM)

Vidhi Chugh

AI strategist and ethicist

L'ordine conta!

 

  • Seguo solo uno stile di vita sano.

 

 

  • Posizioni diverse = significati diversi

 

  • Solo io seguo uno stile di vita sano.

Illustrazione di una persona con due frecce in direzioni opposte e un punto interrogativo sopra la testa.

1 Freepik
Concetti sui Large Language Models (LLM)

Modeling del contesto

Un'immagine che mostra che la parola 'Run' ha più significati a seconda del contesto.

Concetti sui Large Language Models (LLM)

Modeling del contesto

Un'immagine che mostra la parola 'Run' nel senso di fare jogging.

Concetti sui Large Language Models (LLM)

Modeling del contesto

Un'immagine che mostra la parola 'Run' nel senso di gestire o organizzare.

Concetti sui Large Language Models (LLM)

Modeling del contesto

Un'immagine che mostra la parola 'Run' nel senso di far funzionare una macchina

Concetti sui Large Language Models (LLM)

Modeling del contesto

Aggiungere più contesto all'immagine precedente mostrando diversi significati con esempi.

Concetti sui Large Language Models (LLM)

Dipendenza a lungo raggio

 

  • Riconoscere e collegare parole lontane in una frase
  • Difficile per i modelli tradizionali

Esempio di dipendenza a lungo raggio: "Il libro che la ragazza, appena tornata dalle vacanze, ha messo con cura sullo scaffale era piuttosto pesante."

Concetti sui Large Language Models (LLM)

Apprendimento single-task

Tre esempi di apprendimento single-task: didascalie per immagini, sintesi di testo e traduzione.

  • Costoso in tempo e risorse
  • Meno flessibile dei LLM moderni
Concetti sui Large Language Models (LLM)

Apprendimento multi-task

Apprendimento multi-task che combina più capacità in un unico modello.

  • Migliora ogni singolo task
  • Può ridurre accuratezza ed efficienza
  • Meno dati perché condivisi
Concetti sui Large Language Models (LLM)

Ricapitolando

Sfide del language modeling:

  • Sequenze di parole

 

  • Comprendere il contesto

 

  • Dipendenza a lungo raggio

Single-task learning:

  • Specifico al task
  • Meno flessibile
  • Modelli tradizionali e primi LLM

 

Multi-task learning:

  • Versatile
  • Più task
  • LLM più evoluti
Concetti sui Large Language Models (LLM)

Ayo berlatih!

Concetti sui Large Language Models (LLM)

Preparing Video For Download...