Bekerja dengan berbagai parameter model

Pengantar Amazon Bedrock

Nikhil Rangarajan

Data Scientist

Parameter model di Amazon Bedrock

  • Model memiliki parameter untuk mengontrol perilaku

  • temperature: Mengontrol kerandoman prediksi

  • top_p: Mengontrol keragaman keluaran dengan memasukkan token berperingkat teratas
  • max_tokens: Menetapkan panjang keluaran maksimum

Kenop atau dial suhu melingkar dengan panah hijau melengkung yang menunjuk, mewakili bagaimana parameter seperti temperature dapat disetel untuk mengontrol kerandoman keluaran model di Amazon Bedrock.

Pengantar Amazon Bedrock

Suhu

  • Kerandoman dan kreativitas respons

  • Suhu rendah (mendekati 0): Respons lebih fokus dan deterministik

  • Suhu tinggi (mendekati 1): Keluaran lebih beragam dan kreatif

  • Sebagian besar model Bedrock default ke 0,7

prompt = "Write a headline for a 
          tech article"
request = {
    "temperature": 0.2,
    "messages": [
        {
            "role": "user",
            "content": [{"type": "text", 
                         "text": prompt}],
        }
    ],
    ...
}
Pengantar Amazon Bedrock

Rentang suhu

  • Temperature = 'selera risiko' model

  • Suhu rendah seperti pengambil keputusan yang hati-hati

    • Cocok untuk rangkuman atau jawaban faktual

  • Suhu tinggi seperti pemikir kreatif yang berani mengambil risiko

    • Cocok untuk tugas kreatif seperti membuat cerita atau brainstorming

Termometer yang mewakili suhu

Pengantar Amazon Bedrock

Top_p

  • Top_p (nucleus sampling)
    • Mengontrol ketertebakan keluaran
    • Menentukan probabilitas kata yang dipakai
    • Rentang: 0,1 (fokus) hingga 0,9 (beragam)
    • Contoh: top_p 0,1 artinya model hanya mempertimbangkan 10% kata berikutnya yang paling mungkin
prompt = "Explain quantum computing"

# Focused response
request["top_p"] = 0.1

# Diverse response
request["top_p"] = 0.9
Pengantar Amazon Bedrock

Max tokens

  • Max_tokens membatasi panjang respons:

    • Untuk mengelola biaya, ukuran respons, dan kinerja
    • Nilai umum: 100–2000

    Dua gelembung percakapan di latar abu-abu—satu kosong dan satu berisi teks acak—menggambarkan batas panjang token maksimum pada model bahasa, di mana respons bisa dibatasi ukurannya.

prompt = "Explain quantum computing"

# Focused shorter response
request["top_p"] = 0.1
request["max_tokens"] = 100

# Diverse longer response
request["top_p"] = 0.9
request["max_tokens"] = 500
Pengantar Amazon Bedrock

Pemilihan parameter

  • Pembuatan konten: Suhu lebih tinggi (0,7–0,9)
  • Sistem tanya jawab: Suhu lebih rendah (0,1–0,3)
  • Dokumentasi: top_p lebih rendah (0,1–0,3)
  • Brainstorming: top_p lebih tinggi (0,7–0,9)
  • Aplikasi chat: max_tokens sedang (150–300)
  • Konten panjang: max_tokens lebih tinggi (1000+)

Panel kontrol digital seperti speedometer dengan kenop dan tombol, mewakili berbagai parameter yang dapat disetel saat bekerja dengan model bahasa di Amazon Bedrock. Panel bergaya modern dengan pencahayaan biru.

Pengantar Amazon Bedrock

Ayo berlatih!

Pengantar Amazon Bedrock

Preparing Video For Download...