Menyetel parameter Llama 3

Bekerja dengan Llama 3

Imtihan Ahmed

Machine Learning Engineer

Untuk apa parameter?

from llama_cpp import Llama
llm = Llama(model_path="path/to/model.gguf")
output = llm("What are some ways to improve customer retention?")

Kendalikan kualitas, keacakan, dan panjang

Untuk apa parameter?

Contoh: membuat deskripsi produk

→ Harus faktual dan ringkas

Berorientasi gaya hidup

→ Harus menarik dan kreatif

Parameter decoding Llama 3

Sesuaikan perilaku Llama

Gunakan parameter decoding untuk menyesuaikan nada

Ubah keluaran mentah menjadi teks yang mudah dibaca

Menyesuaikan perilaku Llama dengan parameter

Parameter decoding Llama 3

Temperature: mengontrol keacakan
Top-K: membatasi pemilihan token ke pilihan paling mungkin
Top-P: menyesuaikan pemilihan token berdasar probabilitas kumulatif
Max tokens: membatasi panjang respons

Screenshot 2025-02-26 at 12.51.27.png

Temperature

Nilai biasanya antara 0 dan 1

Temperatur rendah (mis. mendekati 0):

Respons lebih dapat diprediksi

Jam tangan pintar dengan pemantau detak jantung, GPS, dan baterai tahan lama 
untuk pelacakan seharian.

Temperatur tinggi (mis. mendekati 1):

Respons lebih kreatif

Pelatih kebugaran pribadi di pergelangan tangan—lacak setiap detak, setiap langkah, 
dan tiap petualangan tanpa batas.

Top-k

Membatasi berapa banyak kata paling mungkin yang bisa dipilih Llama

Nilai k rendah (mis. 1):

Respons lebih dapat diprediksi

Lacak kebugaran, putar musik, dan terima notifikasi dengan smartwatch ramping kami.

Nilai k tinggi (mis. 50):

Respons lebih beragam

Rasakan masa depan dengan smartwatch mutakhir kami, menghadirkan pelacakan kebugaran, streaming musik, notifikasi yang bisa disesuaikan, wawasan personal, dan integrasi mulus dengan smartphone setiap saat.

Top-p

Mengendalikan pemilihan kata keluaran berdasarkan keyakinan

Nilai top-p tinggi (mis. mendekati 1):

Respons lebih bervariasi

Tetap terhubung dengan smartwatch ramping kami, dilengkapi pelacakan kebugaran,
musik, dan notifikasi yang bisa disesuaikan, cocok untuk penggemar fitness 
dan profesional sibuk.

Nilai top-p rendah (mis. mendekati 0):

Variasi lebih sedikit

Smartwatch dengan pelacakan kebugaran dan kontrol musik, cocok untuk berolahraga.

Max tokens

Untuk membatasi panjang respons
Jumlah token—unit kata—dalam respons

Nilai max_tokens rendah:

Tetap terhubung dengan smartwatch ramping kami, menghadirkan pelacakan kebugaran 
dan kontrol musik.

Nilai max_tokens tinggi:

Tetap terhubung dengan smartwatch ramping kami, menghadirkan pelacakan kebugaran, 
kontrol musik, notifikasi yang bisa disesuaikan, dan integrasi mulus dengan 
smartphone. Pantau kesehatan, lacak progres, dan terima peringatan 
di pergelangan tangan. Sempurna untuk penggemar kebugaran.

Menggabungkan berbagai parameter

llm = Llama(model_path="path/to/model.gguf")

output_concise = llm(
    "Describe an electric car.",

    temperature=0.2,

    top_k=1,

    top_p=0.4,

    max_tokens=20

)

Mobil listrik yang cepat, ramah lingkungan, jarak tempuh jauh, dan berteknologi mutakhir.

Menggabungkan berbagai parameter

output_creative = llm(
    "Describe an electric car.",

    temperature=0.8,

    top_k=10,

    top_p=0.9,

    max_tokens=100

)

Meluncur ke masa depan dengan mobil listrik yang memadukan kecepatan, kemewahan,
dan keberlanjutan. Senyap namun bertenaga, mendefinisikan ulang jalan ...

Ayo berlatih!

Bekerja dengan Llama 3