От прототипа к продакшену

Создание масштабируемых агентных систем

Korey Stegared-Pace

Senior AI Cloud Advocate, Microsoft

Общая картина

agent_in_app_v2_1.jpg

Создание масштабируемых агентных систем

Шаг 1: Проверка реальных взаимодействий

 

Тестирование ведёт к неудачам, а неудачи — к пониманию.

— Берт Рутан

burt_rutan.png

Создание масштабируемых агентных систем

Шаг 1: Проверка реальных взаимодействий

 

user_errors.png

simulated_data.png

1 nip over = британский сленг, означающий «быстро заскочить»
Создание масштабируемых агентных систем

Шаг 2: Тестирование всего: юнит-тесты

unit_tests.jpg

Создание масштабируемых агентных систем

Шаг 2: Тестирование всего: интеграционные тесты

intergration_tests.jpg

Создание масштабируемых агентных систем

Шаг 2: Тестирование всего: оценка системных промптов

eval_system_prompts.jpg

Создание масштабируемых агентных систем

Шаг 2: Тестирование всего: субъективные оценки

human_rater.jpg

Создание масштабируемых агентных систем

Шаг 2: Тестирование всего: субъективные оценки

llm_as_judge.jpg

Создание масштабируемых агентных систем

Шаг 3: Ограничители и наблюдаемость

 

content_filters.png

fallbacks.png

Создание масштабируемых агентных систем

Шаг 3: Ограничители и наблюдаемость

logging.png

 

data_collection.png

Создание масштабируемых агентных систем

Шаг 4: Теневое развёртывание

 

shadow_deployment.png

Создание масштабируемых агентных систем

Шаг 5: Стратегии развёртывания

deployment_strategies1.jpg

Создание масштабируемых агентных систем

Шаг 5: Стратегии развёртывания

deployment_strategies2.jpg

Создание масштабируемых агентных систем

Шаг 5: Стратегии развёртывания

deployment_strategies3.jpg

Создание масштабируемых агентных систем

Финальный чек-лист

prelaunch_checklist.jpg

Создание масштабируемых агентных систем

Давайте потренируемся!

Создание масштабируемых агентных систем

Preparing Video For Download...