개념 증명에서 프로덕션으로

확장 가능한 Agentic 시스템 구축

Korey Stegared-Pace

Senior AI Cloud Advocate, Microsoft

전체 그림

앱 내 에이전트

확장 가능한 Agentic 시스템 구축

1단계: 실제 상호작용 검증

 

테스트는 실패로 이어지고, 실패는 이해로 이어진다.

— 버트 루탄

버트 루탄

확장 가능한 Agentic 시스템 구축

1단계: 실제 상호작용 검증

 

사용자 오류

시뮬레이션 데이터

1 nip over = British slang for a quick visit
확장 가능한 Agentic 시스템 구축

2단계: 철저한 테스트 - 단위 테스트

단위 테스트

확장 가능한 Agentic 시스템 구축

2단계: 철저한 테스트 - 통합 테스트

통합 테스트

확장 가능한 Agentic 시스템 구축

2단계: 철저한 테스트 - 시스템 프롬프트 평가

시스템 프롬프트 평가

확장 가능한 Agentic 시스템 구축

2단계: 철저한 테스트 - 주관적 평가

인간 평가자

확장 가능한 Agentic 시스템 구축

2단계: 철저한 테스트 - 주관적 평가

LLM 심사위원

확장 가능한 Agentic 시스템 구축

3단계: 가드레일 및 관찰 가능성

 

콘텐츠 필터

폴백

확장 가능한 Agentic 시스템 구축

3단계: 가드레일 및 관찰 가능성

로깅

 

데이터 수집

확장 가능한 Agentic 시스템 구축

4단계: 섀도 배포

 

섀도 배포

확장 가능한 Agentic 시스템 구축

5단계: 배포 전략

배포 전략 1

확장 가능한 Agentic 시스템 구축

5단계: 배포 전략

배포 전략 2

확장 가능한 Agentic 시스템 구축

5단계: 배포 전략

배포 전략 3

확장 가능한 Agentic 시스템 구축

최종 체크리스트

출시 전 체크리스트

확장 가능한 Agentic 시스템 구축

연습해 봅시다!

확장 가능한 Agentic 시스템 구축

Preparing Video For Download...