Інженерія підказок

Концепції LLMOps

Max Knobbout, PhD

Applied Scientist, Uber

Життєвий цикл LLM: інженерія підказок

Огляд фаз життєвого циклу LLM-застосунку

Цикл розробки

Початковий огляд циклу розробки, який ми уточнимо в цьому розділі

Чому інженерія підказок важлива?

Поліпшення продуктивності
Контроль виходу
Уникнення упереджень і галюцинацій

Елементи підказки

Інструкція
Приклади / контекст
Вхідні дані
Маркер виходу

Приклад підказки з інструкцією, прикладами, вхідними й вихідними даними

Як знайти ідеальну підказку

Експериментуйте з:

налаштуваннями LLM, як-от temperature чи max tokens
навчанням у контексті та іншими шаблонами підказок

Використовуйте playground для експериментів!

Керування підказками

Критично для ефективності, відтворюваності та співпраці
Важливо відстежувати:
- Підказку
- Вихід
- Модель і налаштування
Використовуйте менеджер підказок або контроль версій
Почніть збирати добрі пари вхід–вихід для оцінювання

Шаблони підказок для повторного використання

Зображення підказки ліворуч і шаблону підказки праворуч, що підкреслює різницю між ними

Цикл розробки

Початковий огляд циклу розробки, який ми уточнимо в цьому розділі

Цикл розробки

Цикл розробки з доданою діяльністю з інженерії підказок

Давайте потренуємось!

Концепції LLMOps

Preparing Video For Download...