Co je Llama?

Práce s Llama 3

Imtihan Ahmed

Machine Learning Engineer

Seznamte se s instruktorem

 

  • Imtihan Ahmed
  • Inženýr strojového učení
  • Šest let praxe
  • AI ve velkém měřítku

  Profilová fotografie instruktora

Práce s Llama 3

Co je Llama 3?

 

  • Sumarizace

Snímek obrazovky 2025-02-19 v 11.01.25

Práce s Llama 3

Co je Llama 3?

 

  • Sumarizace

 

  • Analýza dat

Snímek obrazovky 2025-02-19 v 11.01.16

Práce s Llama 3

Co je Llama 3?

 

  • Sumarizace

 

  • Analýza dat

 

  • Asistent pro kódování

Snímek obrazovky 2025-02-19 v 11.01.07

Práce s Llama 3

Co je Llama 3?

Snímek obrazovky 2025-02-19 v 11.32.24

Llama 3:

  • Vyvinuto společností Meta
Práce s Llama 3

Co je Llama 3?

Snímek obrazovky 2025-02-19 v 11.32.18

Llama 3:

  • Vyvinuto společností Meta
  • Generování textu
Práce s Llama 3

Co je Llama 3?

Snímek obrazovky 2025-02-19 v 11.32.12

  • Vyvinuto společností Meta
  • Generování textu
  • Trénováno na rozsáhlém datasetu
    • Odpovídá 2 000 Wikipediím
  • Open-source
Práce s Llama 3

Proč spouštět Llama 3 lokálně

  • Příklad: průmyslová automatizace
    • Llama predikuje potřeby údržby

3.jpg

1 https://ai.meta.com/blog/aitomatic-built-with-llama/
Práce s Llama 3

Proč spouštět Llama 3 lokálně

 

  • Soukromí a bezpečnost

Snímek obrazovky 2025-02-19 v 11.48.10

Práce s Llama 3

Proč spouštět Llama 3 lokálně

 

  • Soukromí a bezpečnost

 

  • Nákladová efektivita

Snímek obrazovky 2025-02-19 v 11.48.03

Práce s Llama 3

Proč spouštět Llama 3 lokálně

 

  • Soukromí a bezpečnost

 

  • Nákladová efektivita

 

  • Přizpůsobení

Snímek obrazovky 2025-02-19 v 11.47.54

Práce s Llama 3

Použití Llamy lokálně

  • Dostupné lokálně po instalaci Pythonu

Snímek obrazovky 2025-02-19 v 11.54.07

  • Lze použít přes knihovnu llama-cpp-python
  • Instalace pomocí pip
pip install llama-cpp-python
Práce s Llama 3

Dotazování Llamy

from llama_cpp import Llama

llm = Llama(model_path = "path/to/model.gguf")

output = llm("What are some ways to improve customer retention?")
  • Import třídy Llama
  • Inicializace LLM
    • Lze odesílat prompty a získávat odpovědi
    • Model ve formátu GGUF
  • Předání dotazu LLM
Práce s Llama 3

Dotazování Llamy

 

  • Model obdrží prompt
  • Zpracuje prompt
  • Vrátí odpověď

prompting.jpg

Práce s Llama 3

Rozbalení výstupu

  • Odpověď je ve formátu slovníku
output

{'id': 'cmpl-af88304f-97b0-49f5-ba20-db87f86c4068',
 'object': 'text_completion',
 'created': 1715222298,
 'model': './Llama3-gguf-unsloth.Q4_K_M.gguf',
 'choices': [{'text': 'Improving customer retention is crucial for any business, as 
 it leads to increased revenue, positive word-of-mouth, and cost savings...'},
 ...]
}
Práce s Llama 3

Rozbalení výstupu

  • Přístup k "text" z prvku 0 v "choices"
output["choices"][0]["text"]

'Improving customer retention is crucial for any business, as 
 it leads to increased revenue, positive word-of-mouth, and cost savings. 
 Here are some effective ways to boost customer retention:
 1. Personalize the Customer Experience
 Tailor your interactions with customers based on their preferences, behaviors, and 
 purchase history. Use data and analytics to create personalized offers, 
 recommendations, and communications.
 2. Foster Strong Relationships
 Build strong, human connections with your customers. Train your...'
Práce s Llama 3

Pojďme procvičovat!

Práce s Llama 3

Preparing Video For Download...