Gefeliciteerd!

Werken met Llama 3

Imtihan Ahmed

Machine Learning Engineer

Even opfrissen

Stap 1 - Llama lokaal draaien

from llama_cpp import Llama

llm = Llama(model_path = "path/to/model.gguf")
Werken met Llama 3

Even opfrissen

Stap 2 - parameters afstellen

$$

  • temperature, top_k, top_p-parameters
Werken met Llama 3

Even opfrissen

Stap 3 - rollen toewijzen

message_list = [{"role": "system", "content": system_message},
               {"role": "user", "content": user_message}]
Werken met Llama 3

Even opfrissen

Stap 4 - outputs sturen

  • Precieze prompts
  • stop-woorden
  • Zero-shot/few-shot prompting
Werken met Llama 3

Even opfrissen

Stap 5 - JSON-antwoorden verkennen $$

response_format = {"type": "json_object"}
Werken met Llama 3

Even opfrissen

Stap 6 - bouw meerstapsgesprekken

  • Conversation-klasse
  • .create_completion()-methode
Werken met Llama 3

Wat nu?

Werken met Llama 3

Bedankt!

Werken met Llama 3

Preparing Video For Download...