Етап ідей

Концепції LLMOps

Max Knobbout, PhD

Applied Scientist, Uber

Життєвий цикл LLM: етап ідей

Огляд етапів життєвого циклу застосунку LLM

Концепції LLMOps

Залучення даних

 

Ігрове зображення персонажа, що тримає різні джерела даних

 

  • Визначення потреб

 

  • Пошук джерел

 

  • Забезпечення доступності
Концепції LLMOps

Залучення даних

 

Ігрове зображення персонажа, що тримає різні джерела даних

  1. Чи ці дані релевантні?
  2. Чи доступні дані?
    • Трансформуйте дані
    • Налаштуйте додаткові бази даних
    • Оцініть витрати
    • Врахуйте інші обмеження доступу
  3. Чи відповідають дані стандартам?
    • Стосуються якості та управління
Концепції LLMOps

Вибір базової моделі

  • Попередньо навчені моделі:

Зображення попередньо навченої моделі

  • Пропрієтарні чи відкриті?
Концепції LLMOps

Пропрієтарні моделі (приватні)

Переваги:

  • Простота налаштування й використання
  • Гарантія якості
  • Надійність, швидкість і доступність

 

Обмеження:

  • Потрібно відкривати дані
  • Обмежена кастомізація

Приклади:

Логотипи пропрієтарних моделей LLM

Концепції LLMOps

Відкритий код (публічний доступ)

Переваги:

  • Внутрішній хостинг
  • Прозорість
  • Повна можливість налаштування

 

Обмеження:

  • Підтримка
  • Комерційне використання

 

Приклад: Логотип Meta Llama 3

 

Завантажити з: Логотип Hugging Face

Концепції LLMOps

Фактори вибору моделі

1. Продуктивність ⭐

  • Якість відповідей
  • Швидкість

Піктограми, пов'язані з продуктивністю

2. Характеристики моделі ⭐

  • Дані, на яких навчено модель
  • Розмір контекстного вікна
  • Можливість тонкого налаштування

Піктограми, пов'язані з характеристиками моделі

Концепції LLMOps

Фактори вибору моделі

3. Практичні міркування ⭐

  • Ліцензія
  • Вартість
  • Вплив на довкілля

Піктограми, пов'язані з практичними міркуваннями

4. Вторинні фактори

  • Кількість параметрів
  • Популярність

Піктограми, пов'язані з вторинними факторами

Концепції LLMOps

Давайте потренуємось!

Концепції LLMOps

Preparing Video For Download...