Grattis!

Arbeta med Llama 3

Imtihan Ahmed

Machine Learning Engineer

Vi repeterar

Steg 1 – kör Llama lokalt

from llama_cpp import Llama

llm = Llama(model_path = "path/to/model.gguf")
Arbeta med Llama 3

Vi repeterar

Steg 2 – justera parametrar

$$

  • Parametrarna temperature, top_k, top_p
Arbeta med Llama 3

Vi repeterar

Steg 3 – tilldela roller

message_list = [{"role": "system", "content": system_message},
               {"role": "user", "content": user_message}]
Arbeta med Llama 3

Vi repeterar

Steg 4 – styr utdata

  • Precisa promptar
  • stop-ord
  • Zero-shot/Few-shot-prompting
Arbeta med Llama 3

Vi repeterar

Steg 5 – utforska JSON-svar $$

response_format = {"type": "json_object"}
Arbeta med Llama 3

Vi repeterar

Steg 6 – bygg flervändiga konversationer

  • Klassen Conversation
  • Metoden .create_completion()
Arbeta med Llama 3

Vad händer härnäst?

Llama Fundamentals skill track

Llama Fundamentals

Projektet Classifying Emails using Llama

Classifying Emails using Llama

Arbeta med Llama 3

Tack!

Arbeta med Llama 3

Preparing Video For Download...