Prompt engineering

Concetti di LLMOps

Max Knobbout, PhD

Applied Scientist, Uber

Ciclo di vita LLM: prompt engineering

Panoramica delle fasi del ciclo di vita di un'app LLM

Concetti di LLMOps

Il ciclo di sviluppo

Panoramica iniziale del ciclo di sviluppo, che verrà raffinata in questo capitolo

Concetti di LLMOps

Perché il prompt engineering è importante?

 

Un cartone animato che insegna i prompt in modo giocoso

 

 

  • Migliora le prestazioni
  • Controlla l'output
  • Evita bias e allucinazioni
Concetti di LLMOps

Elementi di un prompt

 

 

  1. Istruzione
  2. Esempi / Contesto
  3. Dati di input
  4. Indicatore di output

Esempio di prompt che mostra istruzione, esempi, input e output

Concetti di LLMOps

Trovare il prompt ideale

 

 

Immagine di due personaggi dei cartoni che giocano in un parco giochi

 

Sperimenta con:

  • Impostazioni LLM, come temperatura o max token
  • In-context learning e altri pattern di prompt

 

Usa un playground per fare prove!

Concetti di LLMOps

Gestione dei prompt

 

 

Un personaggio giocoso che archivia prompt in una scatola

  • Cruciale per efficienza, riproducibilità e collaborazione
  • Tieni traccia di:
    • Prompt
    • Output
    • Modello e impostazioni
  • Usa un gestore di prompt o il version control
  • Inizia a creare una raccolta di coppie input–output per la valutazione
Concetti di LLMOps

Template di prompt per il riuso

Immagine di un prompt a sinistra e di un template di prompt a destra, che evidenzia la differenza tra i due

Concetti di LLMOps

Il ciclo di sviluppo

Panoramica iniziale del ciclo di sviluppo, che verrà raffinata in questo capitolo

Concetti di LLMOps

Il ciclo di sviluppo

Ciclo di sviluppo con l'attività di prompt engineering aggiunta

Concetti di LLMOps

Ayo berlatih!

Concetti di LLMOps

Preparing Video For Download...