다양한 모델 매개변수 다루기

Amazon Bedrock 입문

Nikhil Rangarajan

Data Scientist

Amazon Bedrock의 모델 매개변수

모델에는 동작을 제어하는 매개변수가 있습니다
temperature: 예측의 무작위성 제어
top_p: 상위 토큰만 포함해 출력 다양성 제어
max_tokens: 출력 최대 길이 설정

원형 온도 다이얼과 그를 가리키는 초록색 화살표로, Amazon Bedrock에서 temperature 같은 매개변수로 무작위성을 조정함을 나타냅니다.

Temperature

응답의 무작위성과 창의성
낮은 temperature(0에 가까움): 더 집중되고 결정적
높은 temperature(1에 가까움): 더 다양하고 창의적
대부분의 Bedrock 모델 기본값은 0.7

prompt = "Write a headline for a 
          tech article"
request = {
    "temperature": 0.2,
    "messages": [
        {
            "role": "user",
            "content": [{"type": "text", 
                         "text": prompt}],
        }
    ],
    ...
}

Temperature 범위

Temperature = 모델의 ‘위험 감수 성향’
낮은 temperature는 신중한 의사결정자와 유사
- 요약, 사실 기반 답변에 적합
높은 temperature는 창의적·모험적 사고와 유사
- 스토리 생성, 브레인스토밍에 적합

온도를 나타내는 온도계

Top_p

Top_p(누클리어스 샘플링)
- 출력 예측 가능성 제어
- 사용 단어의 누적 확률 결정
- 범위: 0.1(집중) ~ 0.9(다양)
- 예: top_p=0.1이면 가장 가능성 높은 상위 10%만 고려

prompt = "Explain quantum computing"

# Focused response
request["top_p"] = 0.1

# Diverse response
request["top_p"] = 0.9

Max tokens

Max_tokens는 응답 길이를 제한합니다:
- 비용/응답 크기 관리 및 성능 유지
- 일반값: 100–2000

prompt = "Explain quantum computing"

# Focused shorter response
request["top_p"] = 0.1
request["max_tokens"] = 100

# Diverse longer response
request["top_p"] = 0.9
request["max_tokens"] = 500

매개변수 선택

콘텐츠 생성: 높은 temperature(0.7–0.9)
Q&A 시스템: 낮은 temperature(0.1–0.3)
문서화: 낮은 top_p(0.1–0.3)
브레인스토밍: 높은 top_p(0.7–0.9)
채팅 앱: 중간 max_tokens(150–300)
장문 생성: 높은 max_tokens(1000+)

속도계 형태의 디스플레이, 노브, 버튼이 있는 디지털 제어판으로, Amazon Bedrock에서 조정 가능한 언어 모델 매개변수를 나타냅니다. 파란색 백라이트의 현대적 디자인입니다.

연습해 봅시다!

Amazon Bedrock 입문