Fase di ideazione

Concetti di LLMOps

Max Knobbout, PhD

Applied Scientist, Uber

Ciclo di vita LLM: fase di ideazione

Panoramica delle fasi del ciclo di vita di un’app LLM

Concetti di LLMOps

Reperimento dati

 

Immagine giocosa di un cartone che regge diverse fonti di dati

 

  • Identificare i bisogni

 

  • Trovare le fonti

 

  • Garantire l’accessibilità
Concetti di LLMOps

Reperimento dati

 

Immagine giocosa di un cartone che regge diverse fonti di dati

  1. I dati sono rilevanti?
  2. I dati sono disponibili?
    • Trasformare i dati
    • Configurare database aggiuntivi
    • Valutare i costi
    • Considerare altri limiti di accesso
  3. I dati rispettano gli standard?
    • Qualità e governance
Concetti di LLMOps

Scelta del modello base

  • Modelli pre-addestrati:

Immagine di un modello pre-addestrato

  • Proprietari o open source?
Concetti di LLMOps

Modelli proprietari (privati)

Vantaggi:

  • Facile da configurare e usare
  • Garanzia di qualità
  • Affidabilità, velocità e disponibilità

 

Limiti:

  • Richiede esporre i dati
  • Personalizzazione

Esempi:

Loghi di modelli LLM proprietari

Concetti di LLMOps

Open source (accesso pubblico)

Vantaggi:

  • Hosting interno
  • Trasparenza
  • Piena personalizzazione

 

Limiti:

  • Supporto
  • Uso commerciale

 

Esempio: Logo di Meta Llama 3

 

Scaricabile da: Logo di Hugging Face

Concetti di LLMOps

Fattori per scegliere il modello

1. Prestazioni ⭐

  • Qualità delle risposte
  • Velocità

Icone relative alle prestazioni

2. Caratteristiche del modello ⭐

  • Dati usati per l’addestramento
  • Dimensione della finestra di contesto
  • Possibilità di fine-tuning

Icone relative alle caratteristiche del modello

Concetti di LLMOps

Fattori per scegliere il modello

3. Aspetti pratici ⭐

  • Licenza
  • Costo
  • Impatto ambientale

Icone relative agli aspetti pratici

4. Fattori secondari

  • Numero di parametri
  • Popolarità

Icone relative ai fattori secondari

Concetti di LLMOps

Let's practice!

Concetti di LLMOps

Preparing Video For Download...