Tecniche di apprendimento

Concetti sui Large Language Models (LLM)

Vidhi Chugh

AI strategist and ethicist

Dove siamo?

Grafico dei progressi che mostra che siamo alla fase di fine-tuning

Concetti sui Large Language Models (LLM)

Oltre i vincoli di dati

 

  • Fine-tuning: addestrare un modello pre-addestrato su un compito specifico

 

  • E se ci sono pochi o nessun dato etichettato?

 

  • N-shot learning: zero-shot, few-shot e multi-shot
Concetti sui Large Language Models (LLM)

Transfer learning

  • Imparare da un compito e trasferire a uno correlato
  • Trasferire conoscenze da pianoforte a chitarra
    • Lettura delle note
    • Comprensione del ritmo
    • Concetti musicali
  • N-shot learning
    • Zero-shot: nessun dato specifico del compito
    • Few-shot: pochi dati specifici del compito
    • Multi-shot: relativamente più dati di training

Illustrazione di un pianoforte e una chitarra

Concetti sui Large Language Models (LLM)

Zero-shot learning

  • Nessun training esplicito
  • Usa comprensione del linguaggio e contesto
  • Generalizza senza esempi precedenti

Un'immagine che mostra come l'addestramento separato su cavallo e strisce aiuta il modello a identificare la zebra.

1 Freepik
Concetti sui Large Language Models (LLM)

Few-shot learning

  • Imparare un nuovo compito con pochi esempi

Un'aula scolastica

  • One-shot learning: fine-tuning da un solo esempio
  • Conoscenze pregresse per rispondere a nuove domande

Un bambino che scrive un esame

Concetti sui Large Language Models (LLM)

Multi-shot learning

  • Richiede più esempi del few-shot

 

  • Compiti precedenti + nuovi esempi

 

  • Es.: un modello addestrato sui Golden Retriever

Immagini di tre Golden Retriever

1 Freepik
Concetti sui Large Language Models (LLM)

Multi-shot learning

  • Output del modello: Labrador Retriever

 

  • Fa risparmiare tempo su raccolta ed etichettatura dati

 

  • Senza perdere accuratezza

Un labrador

1 Freepik
Concetti sui Large Language Models (LLM)

Mattoncini finora

  • Flusso di preparazione dati

 

  • Fine-tuning

 

  • Tecniche di N-shot learning

 

  • Prossimo: pre-training
Concetti sui Large Language Models (LLM)

Ayo berlatih!

Concetti sui Large Language Models (LLM)

Preparing Video For Download...