Wat is Llama?

Werken met Llama 3

Imtihan Ahmed

Machine Learning Engineer

Maak kennis met de instructor

 

  • Imtihan Ahmed
  • Machine learning engineer
  • Zes jaar ervaring
  • AI op schaal

  Instructor profile photo

Werken met Llama 3

Wat is Llama 3?

 

  • Samenvatten

Screenshot 2025-02-19 at 11.01.25.png

Werken met Llama 3

Wat is Llama 3?

 

  • Samenvatten

 

  • Data-analyse

Screenshot 2025-02-19 at 11.01.16.png

Werken met Llama 3

Wat is Llama 3?

 

  • Samenvatten

 

  • Data-analyse

 

  • Code-assistent

Screenshot 2025-02-19 at 11.01.07.png

Werken met Llama 3

Wat is Llama 3?

Screenshot 2025-02-19 at 11.32.24.png

Llama 3:

  • Ontwikkeld door Meta
Werken met Llama 3

Wat is Llama 3?

Screenshot 2025-02-19 at 11.32.18.png

Llama 3:

  • Ontwikkeld door Meta
  • Tekstgeneratie
Werken met Llama 3

Wat is Llama 3?

Screenshot 2025-02-19 at 11.32.12.png

  • Ontwikkeld door Meta
  • Tekstgeneratie
  • Getraind op enorme dataset
    • Gelijk aan 2000 Wikipedia’s
  • Open source
Werken met Llama 3

Waarom Llama 3 lokaal draaien

  • Voorbeeld: industriële automatisering
    • Llama voorspelt onderhoudsbehoefte

3.jpg

1 https://ai.meta.com/blog/aitomatic-built-with-llama/
Werken met Llama 3

Waarom Llama 3 lokaal draaien

 

  • Privacy en veiligheid

Screenshot 2025-02-19 at 11.48.10.png

Werken met Llama 3

Waarom Llama 3 lokaal draaien

 

  • Privacy en veiligheid

 

  • Kostenefficiëntie

Screenshot 2025-02-19 at 11.48.03.png

Werken met Llama 3

Waarom Llama 3 lokaal draaien

 

  • Privacy en veiligheid

 

  • Kostenefficiëntie

 

  • Aanpasbaarheid

Screenshot 2025-02-19 at 11.47.54.png

Werken met Llama 3

Llama lokaal gebruiken

  • Lokaal beschikbaar met Python geïnstalleerd

Screenshot 2025-02-19 at 11.54.07.png

  • Te gebruiken via de llama-cpp-python-bibliotheek
  • Voer pip install uit
pip install llama-cpp-python
Werken met Llama 3

Vragen stellen aan Llama

from llama_cpp import Llama

llm = Llama(model_path = "path/to/model.gguf")

output = llm("What are some ways to improve customer retention?")
  • Importeer de Llama-klasse
  • Initialiseer de LLM
    • Verstuur prompts en ontvang antwoorden
    • Model in GGUF-indeling
  • Geef een vraag door aan de LLM
Werken met Llama 3

Vragen stellen aan Llama

 

  • Model ontvangt de prompt
  • Verwerkt de prompt
  • Geeft een antwoord terug

prompting.jpg

Werken met Llama 3

De output ontleden

  • Het antwoord staat in een dictionary-formaat
output

{'id': 'cmpl-af88304f-97b0-49f5-ba20-db87f86c4068',
 'object': 'text_completion',
 'created': 1715222298,
 'model': './Llama3-gguf-unsloth.Q4_K_M.gguf',
 'choices': [{'text': 'Improving customer retention is crucial for any business, as 
 it leads to increased revenue, positive word-of-mouth, and cost savings...'},
 ...]
}
Werken met Llama 3

De output ontleden

  • Haal "text" op uit element 0 van "choices"
output["choices"][0]["text"]

'Improving customer retention is crucial for any business, as 
 it leads to increased revenue, positive word-of-mouth, and cost savings. 
 Here are some effective ways to boost customer retention:
 1. Personalize the Customer Experience
 Tailor your interactions with customers based on their preferences, behaviors, and 
 purchase history. Use data and analytics to create personalized offers, 
 recommendations, and communications.
 2. Foster Strong Relationships
 Build strong, human connections with your customers. Train your...'
Werken met Llama 3

Laten we oefenen!

Werken met Llama 3

Preparing Video For Download...