Fine-tuning

Concetti sui Large Language Models (LLM)

Vidhi Chugh

AI strategist and ethicist

A che punto siamo?

Grafico dei progressi che mostra che siamo alla fase di fine-tuning

Concetti sui Large Language Models (LLM)

 

  • Pre-training

Un’immagine che rappresenta bambini a scuola come analogia del pre-training

          Istruzione scolastica

 

  • Fine-tuning

Un’immagine che rappresenta studenti universitari come analogia del fine-tuning

        Specializzazione universitaria
1 Freepik
Concetti sui Large Language Models (LLM)

Sfide della “grandezza”

  • Il fine-tuning può aiutare
  • Computer potenti
  • Metodi di training efficienti
  • Grandi quantità di dati di training

Un’immagine che mostra dati, tempo di training e potenza di calcolo come sfide per costruire LLM

Concetti sui Large Language Models (LLM)

Potenza di calcolo

  • Memoria

  • Potenza di calcolo

  • Infrastruttura

  • Costoso

  • LLM:
    • Centinaia di migliaia di CPU (Central Processing Unit)
    • Decine di migliaia di GPU (Graphic Processing Unit)
  • PC personale: 4-8 CPU e 1-2 GPU

Uomo che lavora al computer collegato a un grande server

1 Freepik
Concetti sui Large Language Models (LLM)

Training efficiente del modello

Illustrazione che simboleggia un modello di deep learning

  • Tempi di training enormi

 

  • Possono servire settimane o mesi

 

  • Training efficiente = tempi più rapidi

 

  • 355 anni di calcolo su una singola GPU
Concetti sui Large Language Models (LLM)

Disponibilità dei dati

 

  • Servono dati di alta qualità
  • Per apprendere complessità e sfumature del linguaggio

  • Qualche centinaio di GB di testo

    • Oltre un milione di libri

  • Quantità di dati enorme

  Due pile di raccoglitori stracolmi a simboleggiare molti dati

Concetti sui Large Language Models (LLM)

Superare le sfide

  • Fine-tuning
    • Affronta parte di queste sfide
    • Adatta un modello pre-addestrato

 

  • Modello pre-addestrato
    • Addestrato su dataset generici
    • Non ottimizzato per compiti specifici
    • Si può fare fine-tuning per un problema specifico

Persone che lavorano su un portatile enorme con strumenti e ingranaggi a simboleggiare il fine-tuning

Concetti sui Large Language Models (LLM)

Fine-tuning vs. Pre-training

  • Fine-tuning

  • Calcolo

    • 1-2 CPU e GPU

 

  • Tempo di training
    • Da ore a giorni

 

  • Dati
    • ~1 gigabyte

  • Pre-training

  • Calcolo

    • Migliaia di CPU e GPU

 

  • Tempo di training
    • Settimane o mesi

 

  • Dati
    • Centinaia di gigabyte
Concetti sui Large Language Models (LLM)

Passons à la pratique !

Concetti sui Large Language Models (LLM)

Preparing Video For Download...