Llama 3 parametrelerini ayarlama

Llama 3 ile Çalışmak

Imtihan Ahmed

Machine Learning Engineer

Parametreler ne işe yarar?

from llama_cpp import Llama
llm = Llama(model_path="path/to/model.gguf")
output = llm("What are some ways to improve customer retention?")

Kaliteyi, rastgeleliği ve uzunluğu kontrol edin

Llama 3 ile Çalışmak

Parametreler ne işe yarar?

  • Örnek: ürün açıklamaları üretme

professional_site.png

→ Gerçekçi ve öz olmalı

 

Yaşam tarzı odaklı site

 

→ İlgi çekici ve yaratıcı olmalı

Llama 3 ile Çalışmak

Llama 3 çözümleme parametreleri

$$

  • Llama’nın davranışını ayarla

$$

  • Farklı tonlara uymak için çözümleme (decoding) parametrelerini kullan

$$

  • Ham çıktıyı okunabilir metne dönüştür

Parametrelerle Llama davranışını ayarlama

Llama 3 ile Çalışmak

Llama 3 çözümleme parametreleri

$$

  • Temperature: rastgeleliği kontrol eder
  • Top-K: seçimleri en olası belirteçlerle sınırlar
  • Top-P: kümülatif olasılığa göre seçim yapar
  • Max tokens: yanıt uzunluğunu sınırlar

$$

Screenshot 2025-02-26 at 12.51.27.png

Llama 3 ile Çalışmak

Sıcaklık

  • Değerler genelde 0 ile 1 arasındadır

  • Düşük sıcaklık (örn. 0’a yakın):

    • Daha öngörülebilir yanıt
      A smartwatch with a heart rate monitor, GPS, and a long-lasting battery 
for all-day tracking.
  • Yüksek sıcaklık (örn. 1’e yakın):
    • Daha yaratıcı yanıt
      Your personal fitness coach on your wrist - track every heartbeat, every step, 
and every adventure without limits.
Llama 3 ile Çalışmak

Top-k

  • Llama’nın en olası sözcüklerden seçebileceği sayıyı sınırlar

  • Düşük k değeri (örn. 1):

    • Daha öngörülebilir yanıt
      Track fitness, stream music, and receive notifications with our sleek smartwatch.

  • Yüksek k değeri (örn. 50):

    • Daha çeşitli yanıt
      Experience the future with our cutting-edge smartwatch, featuring fitness tracking, music streaming, customizable notifications, personalized insights, and seamless smartphone integration always.
Llama 3 ile Çalışmak

Top-p

  • Güvene göre çıktı sözcüklerinin seçimini kontrol eder

  • Yüksek top-p değeri (örn. 1’e yakın):

    • Daha çeşitli yanıtlar
      Stay connected with our sleek smartwatch, featuring fitness tracking,
music, and customizable notifications, perfect for fitness 
enthusiasts and busy professionals.

  • Düşük top-p değeri (örn. 0’a yakın):

    • Daha az çeşitlilik
      Smartwatch with fitness tracking and music control, perfect for workouts.
Llama 3 ile Çalışmak

Maksimum token

  • Yanıt uzunluğunu sınırlamak için kullanılır

  • Yanıttaki belirteç (token) sayısıdır

  • Düşük max_tokens değeri:

    Stay connected with our sleek smartwatch, featuring fitness tracking 
and music control.
  • Yüksek max_tokens değeri:
    Stay connected with our sleek smartwatch, featuring fitness tracking, 
music control, customizable notifications, and seamless smartphone 
integration. Monitor your health, track your progress, and receive 
alerts on your wrist. Perfect for fitness enthusiasts.
Llama 3 ile Çalışmak

Farklı parametreleri birleştirme

llm = Llama(model_path="path/to/model.gguf")

output_concise = llm(
    "Describe an electric car.",

    temperature=0.2,

    top_k=1,

    top_p=0.4,

    max_tokens=20

)

A fast, eco-friendly electric car with a long range and cutting-edge technology.
Llama 3 ile Çalışmak

Farklı parametreleri birleştirme

output_creative = llm(
    "Describe an electric car.",

    temperature=0.8,

    top_k=10,

    top_p=0.9,

    max_tokens=100

)

Glide into the future with an electric car that blends speed, luxury,
and sustainability. Silent yet powerful, it redefines the road ...
Llama 3 ile Çalışmak

Ayo berlatih!

Llama 3 ile Çalışmak

Preparing Video For Download...