Panoramica di LLMOps

Concetti di LLMOps

Max Knobbout, PhD

Applied Scientist, Uber

Cosa imparerai in questo corso

LLMOps aiuta a gestire, distribuire e manutenere in modo efficace le applicazioni di large language model
Tratteremo:
- Fondamenti
- Ciclo di vita delle applicazioni LLM
- Sfide e considerazioni

¹ Illustrazioni di Manfred Steger @ Pixabay

Una semplice pipeline che mostra una query che entra in un LLM e genera un output

Questo porta alle cosiddette applicazioni LLM in tutto il corso

Immagine di una pipeline LLM complessa

Integrazione senza attriti

Transizioni di ciclo di vita fluide

Gestione efficiente e scalabile

Alcune differenze:

	LLMOps	MLOps
Dimensione modello	Grande	Tipicamente più piccolo
Dati	Testo	Qualsiasi dato
Modelli pre-addestrati	Di solito sì	Di solito no
Miglioramento modello	Prompt engineering e fine-tuning	Feature engineering e selezione modello
Generalizzazione	Generico	Ambito fisso
Imprevedibilità	Alta	Bassa
Output	Per lo più testo	Specifico per il task

Concetti di LLMOps