Czym jest Llama?

Praca z Llama 3

Imtihan Ahmed

Machine Learning Engineer

Poznaj instruktora

 

  • Imtihan Ahmed
  • Inżynier uczenia maszynowego
  • Sześć lat doświadczenia
  • AI w skali produkcyjnej

  Zdjęcie profilowe instruktora

Praca z Llama 3

Czym jest Llama 3?

 

  • Podsumowywanie

Zrzut ekranu 2025-02-19 o 11.01.25

Praca z Llama 3

Czym jest Llama 3?

 

  • Podsumowywanie

 

  • Analiza danych

Zrzut ekranu 2025-02-19 o 11.01.16

Praca z Llama 3

Czym jest Llama 3?

 

  • Podsumowywanie

 

  • Analiza danych

 

  • Asystent kodowania

Zrzut ekranu 2025-02-19 o 11.01.07

Praca z Llama 3

Czym jest Llama 3?

Zrzut ekranu 2025-02-19 o 11.32.24

Llama 3:

  • Opracowana przez Meta
Praca z Llama 3

Czym jest Llama 3?

Zrzut ekranu 2025-02-19 o 11.32.18

Llama 3:

  • Opracowana przez Meta
  • Generowanie tekstu
Praca z Llama 3

Czym jest Llama 3?

Zrzut ekranu 2025-02-19 o 11.32.12

  • Opracowana przez Meta
  • Generowanie tekstu
  • Trenowana na ogromnym zbiorze danych
    • Odpowiednik 2000 Wikipedii
  • Open-source
Praca z Llama 3

Dlaczego uruchamiać Llama 3 lokalnie

  • Przykład: automatyzacja przemysłowa
    • Llama przewiduje potrzeby konserwacyjne

3.jpg

1 https://ai.meta.com/blog/aitomatic-built-with-llama/
Praca z Llama 3

Dlaczego uruchamiać Llama 3 lokalnie

 

  • Prywatność i bezpieczeństwo

Zrzut ekranu 2025-02-19 o 11.48.10

Praca z Llama 3

Dlaczego uruchamiać Llama 3 lokalnie

 

  • Prywatność i bezpieczeństwo

 

  • Efektywność kosztowa

Zrzut ekranu 2025-02-19 o 11.48.03

Praca z Llama 3

Dlaczego uruchamiać Llama 3 lokalnie

 

  • Prywatność i bezpieczeństwo

 

  • Efektywność kosztowa

 

  • Personalizacja

Zrzut ekranu 2025-02-19 o 11.47.54

Praca z Llama 3

Używanie Llamy lokalnie

  • Dostępna lokalnie po zainstalowaniu Pythona

Zrzut ekranu 2025-02-19 o 11.54.07

  • Można używać przez bibliotekę llama-cpp-python
  • Instalacja przez pip
pip install llama-cpp-python
Praca z Llama 3

Zadawanie pytań modelowi Llama

from llama_cpp import Llama

llm = Llama(model_path = "path/to/model.gguf")

output = llm("What are some ways to improve customer retention?")
  • Importowanie klasy Llama
  • Inicjalizacja LLM
    • Możliwość wysyłania promptów i odbierania odpowiedzi
    • Model w formacie GGUF
  • Przekazanie pytania do LLM
Praca z Llama 3

Zadawanie pytań modelowi Llama

 

  • Model odbiera prompt
  • Przetwarza prompt
  • Zwraca odpowiedź

prompting.jpg

Praca z Llama 3

Analiza danych wyjściowych

  • Odpowiedź jest w formacie słownika
output

{'id': 'cmpl-af88304f-97b0-49f5-ba20-db87f86c4068',
 'object': 'text_completion',
 'created': 1715222298,
 'model': './Llama3-gguf-unsloth.Q4_K_M.gguf',
 'choices': [{'text': 'Improving customer retention is crucial for any business, as 
 it leads to increased revenue, positive word-of-mouth, and cost savings...'},
 ...]
}
Praca z Llama 3

Analiza danych wyjściowych

  • Dostęp do "text" z elementu 0 w "choices"
output["choices"][0]["text"]

'Improving customer retention is crucial for any business, as 
 it leads to increased revenue, positive word-of-mouth, and cost savings. 
 Here are some effective ways to boost customer retention:
 1. Personalize the Customer Experience
 Tailor your interactions with customers based on their preferences, behaviors, and 
 purchase history. Use data and analytics to create personalized offers, 
 recommendations, and communications.
 2. Foster Strong Relationships
 Build strong, human connections with your customers. Train your...'
Praca z Llama 3

Czas na ćwiczenia!

Praca z Llama 3

Preparing Video For Download...