Огляд LLMOps

Концепції LLMOps

Max Knobbout, PhD

Applied Scientist, Uber

Що ви вивчите в цьому курсі

LLMOps допомагає ефективно керувати, розгортати та підтримувати застосунки з великими мовними моделями
Розглянемо:
- Основи
- Життєвий цикл LLM-застосунків
- Виклики та застереження

¹ Ілюстрації: Manfred Steger @ Pixabay

Проста схема: запит надходить у LLM і генерує відповідь

У підсумку маємо те, що в курсі називатимемо LLM-застосунками

Схема складного конвеєра LLM

Безшовна інтеграція

Плавні переходи в життєвому циклі

Ефективне, масштабоване керування

Деякі відмінності:

	LLMOps	MLOps
Розмір моделі	Великий	Зазвичай менший
Дані	Текст	Різні типи даних
Попередньо навчені моделі	Здебільшого так	Здебільшого ні
Покращення моделі	Інженерія підказок і тонке налаштування	Інженерія ознак і вибір моделі
Узагальнення	Загального призначення	Фіксована сфера
Непередбачуваність	Висока	Низька
Вихід	Переважно текст	Під конкретне завдання

Концепції LLMOps