Was ist Llama?

Arbeiten mit Llama 3

Imtihan Ahmed

Machine Learning Engineer

Lern die Dozentin kennen

 

  • Imtihan Ahmed
  • Machine Learning Engineer
  • Sechs Jahre Erfahrung
  • KI im großen Maßstab

  Dozentenprofilfoto

Arbeiten mit Llama 3

Was ist Llama 3?

 

  • Zusammenfassung

Screenshot 2025-02-19 at 11.01.25.png

Arbeiten mit Llama 3

Was ist Llama 3?

 

  • Zusammenfassung

 

  • Datenanalyse

Screenshot 2025-02-19 at 11.01.16.png

Arbeiten mit Llama 3

Was ist Llama 3?

 

  • Zusammenfassung

 

  • Datenanalyse

 

  • Coding-Assistent

Screenshot 2025-02-19 at 11.01.07.png

Arbeiten mit Llama 3

Was ist Llama 3?

Screenshot 2025-02-19 at 11.32.24.png

Llama 3:

  • Entwickelt von Meta
Arbeiten mit Llama 3

Was ist Llama 3?

Screenshot 2025-02-19 at 11.32.18.png

Llama 3:

  • Entwickelt von Meta
  • Textgenerierung
Arbeiten mit Llama 3

Was ist Llama 3?

Screenshot 2025-02-19 at 11.32.12.png

  • Entwickelt von Meta
  • Textgenerierung
  • Trainiert auf riesigem Datensatz
    • Entspricht 2000 Wikipedias
  • Open Source
Arbeiten mit Llama 3

Warum Llama 3 lokal ausführen

  • Beispiel: Industrieautomatisierung
    • Llama sagt Wartungsbedarf voraus

3.jpg

1 https://ai.meta.com/blog/aitomatic-built-with-llama/
Arbeiten mit Llama 3

Warum Llama 3 lokal ausführen

 

  • Datenschutz und Sicherheit

Screenshot 2025-02-19 at 11.48.10.png

Arbeiten mit Llama 3

Warum Llama 3 lokal ausführen

 

  • Datenschutz und Sicherheit

 

  • Kosteneffizienz

Screenshot 2025-02-19 at 11.48.03.png

Arbeiten mit Llama 3

Warum Llama 3 lokal ausführen

 

  • Datenschutz und Sicherheit

 

  • Kosteneffizienz

 

  • Anpassbarkeit

Screenshot 2025-02-19 at 11.47.54.png

Arbeiten mit Llama 3

Llama lokal nutzen

  • Lokal verfügbar mit installierten Python

Screenshot 2025-02-19 at 11.54.07.png

  • Nutzbar über die Bibliothek llama-cpp-python
  • Per pip installieren
pip install llama-cpp-python
Arbeiten mit Llama 3

Fragen an Llama stellen

from llama_cpp import Llama

llm = Llama(model_path = "path/to/model.gguf")

output = llm("What are some ways to improve customer retention?")
  • Llama-Klasse importieren
  • LLM initialisieren
    • Prompts senden und Antworten erhalten
    • Modell im GGUF-Format
  • Eine Frage an das LLM übergeben
Arbeiten mit Llama 3

Fragen an Llama stellen

 

  • Modell erhält den Prompt
  • Verarbeitet den Prompt
  • Gibt eine Antwort zurück

prompting.jpg

Arbeiten mit Llama 3

Output verstehen

  • Die Antwort ist ein Dictionary
output

{'id': 'cmpl-af88304f-97b0-49f5-ba20-db87f86c4068',
 'object': 'text_completion',
 'created': 1715222298,
 'model': './Llama3-gguf-unsloth.Q4_K_M.gguf',
 'choices': [{'text': 'Improving customer retention is crucial for any business, as 
 it leads to increased revenue, positive word-of-mouth, and cost savings...'},
 ...]
}
Arbeiten mit Llama 3

Output verstehen

  • "text" aus Element 0 von "choices" holen
output["choices"][0]["text"]

'Improving customer retention is crucial for any business, as 
 it leads to increased revenue, positive word-of-mouth, and cost savings. 
 Here are some effective ways to boost customer retention:
 1. Personalize the Customer Experience
 Tailor your interactions with customers based on their preferences, behaviors, and 
 purchase history. Use data and analytics to create personalized offers, 
 recommendations, and communications.
 2. Foster Strong Relationships
 Build strong, human connections with your customers. Train your...'
Arbeiten mit Llama 3

Lass uns üben!

Arbeiten mit Llama 3

Preparing Video For Download...