Tebrikler!

Llama 3 ile Çalışmak

Imtihan Ahmed

Machine Learning Engineer

Hadi hatırlayalım

Adım 1 - Llama’yı yerelde çalıştırma

from llama_cpp import Llama

llm = Llama(model_path = "path/to/model.gguf")
Llama 3 ile Çalışmak

Hadi hatırlayalım

Adım 2 - parametreleri ayarlama

$$

  • temperature, top_k, top_p parametreleri
Llama 3 ile Çalışmak

Hadi hatırlayalım

Adım 3 - rolleri atama

message_list = [{"role": "system", "content": system_message},
               {"role": "user", "content": user_message}]
Llama 3 ile Çalışmak

Hadi hatırlayalım

Adım 4 - çıktıları yönlendirme

  • Net istemler
  • stop sözcükleri
  • Zero-shot/Few-shot istemleme
Llama 3 ile Çalışmak

Hadi hatırlayalım

Adım 5 - JSON yanıtları keşfetme $$

response_format = {"type": "json_object"}
Llama 3 ile Çalışmak

Hadi hatırlayalım

Adım 6 - çok turlu konuşmalar oluşturma

  • Conversation sınıfı
  • .create_completion() yöntemi
Llama 3 ile Çalışmak

Sırada ne var?

Llama 3 ile Çalışmak

Teşekkürler!

Llama 3 ile Çalışmak

Preparing Video For Download...