속도, 비용, 품질을 위한 AI 최적화

개발자를 위한 AI 보조 코딩

Francesca Donadoni

AI Curriculum Manager, DataCamp

지표

• 지연 시간 (응답 시간): 모델이 응답을 생성하는 데 걸리는 시간

지표

• 지연 시간 (응답 시간): 모델이 응답을 생성하는 데 걸리는 시간

$$

• 토큰 비용 (100만 토큰당): AI 모델 사용에 드는 비용

지표

• 지연 시간 (응답 시간): 모델이 응답을 생성하는 데 걸리는 시간

$$

• 토큰 비용 (100만 토큰당): AI 모델 사용에 드는 비용

$$

• 품질 (테스트 통과율/커버리지): 생성된 코드가 의도한 대로 동작하는 빈도

모델 벤치마킹

$$

¹ https://github.com/openai/human-eval

모델 벤치마킹

$$

¹ https://github.com/bigcode-project/bigcodebench

모델 벤치마킹

$$

¹ https://github.com/SWE-bench/SWE-bench

모델 벤치마킹

$$

¹ https://github.com/JohnnyPeng18/Coffe

프롬프트 버전 관리

프롬프트 버전 관리

프롬프트 버전 관리

프롬프트 캐싱

• 캐싱은 다음을 저장합니다:
  • 프롬프트
  • 입력
  • 모델
  • 온도

연습해 봅시다!

개발자를 위한 AI 보조 코딩