Ce este Llama?

Lucrul cu Llama 3

Imtihan Ahmed

Machine Learning Engineer

Cunoașteți instructorul

 

  • Imtihan Ahmed
  • Inginer de machine learning
  • Șase ani experiență
  • AI la scară largă

  Fotografia de profil a instructorului

Lucrul cu Llama 3

Ce este Llama 3?

 

  • Sumarizare

Captură de ecran 2025-02-19 la 11.01.25.png

Lucrul cu Llama 3

Ce este Llama 3?

 

  • Sumarizare

 

  • Analiză de date

Captură de ecran 2025-02-19 la 11.01.16.png

Lucrul cu Llama 3

Ce este Llama 3?

 

  • Sumarizare

 

  • Analiză de date

 

  • Asistent de programare

Captură de ecran 2025-02-19 la 11.01.07.png

Lucrul cu Llama 3

Ce este Llama 3?

Captură de ecran 2025-02-19 la 11.32.24.png

Llama 3:

  • Dezvoltat de Meta
Lucrul cu Llama 3

Ce este Llama 3?

Captură de ecran 2025-02-19 la 11.32.18.png

Llama 3:

  • Dezvoltat de Meta
  • Generare de text
Lucrul cu Llama 3

Ce este Llama 3?

Captură de ecran 2025-02-19 la 11.32.12.png

  • Dezvoltat de Meta
  • Generare de text
  • Antrenat pe un set masiv de date
    • Echivalentul a 2000 de Wikipedii
  • Open-source
Lucrul cu Llama 3

De ce rulați Llama 3 local

  • Exemplu: automatizare industrială
    • Llama prezice necesitățile de întreținere

3.jpg

1 https://ai.meta.com/blog/aitomatic-built-with-llama/
Lucrul cu Llama 3

De ce rulați Llama 3 local

 

  • Confidențialitate și securitate

Captură de ecran 2025-02-19 la 11.48.10.png

Lucrul cu Llama 3

De ce rulați Llama 3 local

 

  • Confidențialitate și securitate

 

  • Eficiență a costurilor

Captură de ecran 2025-02-19 la 11.48.03.png

Lucrul cu Llama 3

De ce rulați Llama 3 local

 

  • Confidențialitate și securitate

 

  • Eficiență a costurilor

 

  • Personalizare

Captură de ecran 2025-02-19 la 11.47.54.png

Lucrul cu Llama 3

Utilizarea Llama local

  • Disponibil local când Python este instalat

Captură de ecran 2025-02-19 la 11.54.07.png

  • Poate fi utilizat prin biblioteca llama-cpp-python
  • Rulați pip install
pip install llama-cpp-python
Lucrul cu Llama 3

Adresarea de întrebări către Llama

from llama_cpp import Llama

llm = Llama(model_path = "path/to/model.gguf")

output = llm("What are some ways to improve customer retention?")
  • Importați clasa Llama
  • Inițializați LLM-ul
    • Puteți trimite prompturi și primi răspunsuri
    • Modelul în format GGUF
  • Transmiteți o întrebare LLM-ului
Lucrul cu Llama 3

Adresarea de întrebări către Llama

 

  • Modelul primește promptul
  • Procesează promptul
  • Returnează un răspuns

prompting.jpg

Lucrul cu Llama 3

Despachetarea rezultatului

  • Răspunsul este în format dicționar
output

{'id': 'cmpl-af88304f-97b0-49f5-ba20-db87f86c4068',
 'object': 'text_completion',
 'created': 1715222298,
 'model': './Llama3-gguf-unsloth.Q4_K_M.gguf',
 'choices': [{'text': 'Improving customer retention is crucial for any business, as 
 it leads to increased revenue, positive word-of-mouth, and cost savings...'},
 ...]
}
Lucrul cu Llama 3

Despachetarea rezultatului

  • Accesați "text" din elementul 0 al "choices"
output["choices"][0]["text"]

'Improving customer retention is crucial for any business, as 
 it leads to increased revenue, positive word-of-mouth, and cost savings. 
 Here are some effective ways to boost customer retention:
 1. Personalize the Customer Experience
 Tailor your interactions with customers based on their preferences, behaviors, and 
 purchase history. Use data and analytics to create personalized offers, 
 recommendations, and communications.
 2. Foster Strong Relationships
 Build strong, human connections with your customers. Train your...'
Lucrul cu Llama 3

Să exersăm!

Lucrul cu Llama 3

Preparing Video For Download...