Vad är Llama?

Arbeta med Llama 3

Imtihan Ahmed

Machine Learning Engineer

Möt instruktören

 

  • Imtihan Ahmed
  • Machine Learning Engineer
  • Sex års erfarenhet
  • AI i stor skala

  Instructor profile photo

Arbeta med Llama 3

Vad är Llama 3?

 

  • Sammanfattning

Screenshot 2025-02-19 at 11.01.25.png

Arbeta med Llama 3

Vad är Llama 3?

 

  • Sammanfattning

 

  • Dataanalys

Screenshot 2025-02-19 at 11.01.16.png

Arbeta med Llama 3

Vad är Llama 3?

 

  • Sammanfattning

 

  • Dataanalys

 

  • Kodassistent

Screenshot 2025-02-19 at 11.01.07.png

Arbeta med Llama 3

Vad är Llama 3?

Screenshot 2025-02-19 at 11.32.24.png

Llama 3:

  • Utvecklad av Meta
Arbeta med Llama 3

Vad är Llama 3?

Screenshot 2025-02-19 at 11.32.18.png

Llama 3:

  • Utvecklad av Meta
  • Textgenerering
Arbeta med Llama 3

Vad är Llama 3?

Screenshot 2025-02-19 at 11.32.12.png

  • Utvecklad av Meta
  • Textgenerering
  • Tränad på en enorm datamängd
    • Motsvarar 2 000 Wikipedior
  • Öppen källkod
Arbeta med Llama 3

Varför köra Llama 3 lokalt

  • Exempel: industriell automatisering
    • Llama förutspår underhållsbehov

3.jpg

1 https://ai.meta.com/blog/aitomatic-built-with-llama/
Arbeta med Llama 3

Varför köra Llama 3 lokalt

 

  • Integritet och säkerhet

Screenshot 2025-02-19 at 11.48.10.png

Arbeta med Llama 3

Varför köra Llama 3 lokalt

 

  • Integritet och säkerhet

 

  • Kostnadseffektivitet

Screenshot 2025-02-19 at 11.48.03.png

Arbeta med Llama 3

Varför köra Llama 3 lokalt

 

  • Integritet och säkerhet

 

  • Kostnadseffektivitet

 

  • Anpassning

Screenshot 2025-02-19 at 11.47.54.png

Arbeta med Llama 3

Använda Llama lokalt

  • Tillgänglig lokalt när Python är installerat

Screenshot 2025-02-19 at 11.54.07.png

  • Används via biblioteket llama-cpp-python
  • Kör pip install
pip install llama-cpp-python
Arbeta med Llama 3

Ställa frågor till Llama

from llama_cpp import Llama

llm = Llama(model_path = "path/to/model.gguf")

output = llm("What are some ways to improve customer retention?")
  • Importera klassen Llama
  • Initiera LLM:en
    • Skicka promptar och hämta svar
    • Modellen i GGUF-format
  • Skicka en fråga till LLM:en
Arbeta med Llama 3

Ställa frågor till Llama

 

  • Modellen tar emot prompten
  • Bearbetar prompten
  • Returnerar ett svar

prompting.jpg

Arbeta med Llama 3

Packa upp utdata

  • Svaret är i ordlisteformat
output

{'id': 'cmpl-af88304f-97b0-49f5-ba20-db87f86c4068',
 'object': 'text_completion',
 'created': 1715222298,
 'model': './Llama3-gguf-unsloth.Q4_K_M.gguf',
 'choices': [{'text': 'Improving customer retention is crucial for any business, as 
 it leads to increased revenue, positive word-of-mouth, and cost savings...'},
 ...]
}
Arbeta med Llama 3

Packa upp utdata

  • Hämta "text" från element 0 i "choices"
output["choices"][0]["text"]

'Improving customer retention is crucial for any business, as 
 it leads to increased revenue, positive word-of-mouth, and cost savings. 
 Here are some effective ways to boost customer retention:
 1. Personalize the Customer Experience
 Tailor your interactions with customers based on their preferences, behaviors, and 
 purchase history. Use data and analytics to create personalized offers, 
 recommendations, and communications.
 2. Foster Strong Relationships
 Build strong, human connections with your customers. Train your...'
Arbeta med Llama 3

Nu kör vi en övning!

Arbeta med Llama 3

Preparing Video For Download...