Що таке Llama?

Робота з Llama 3

Imtihan Ahmed

Machine Learning Engineer

Познайомтеся з інструктором

 

  • Імтіхан Ахмед
  • Інженер з машинного навчання
  • Шість років досвіду
  • ШІ у масштабі

  Фото профілю інструктора

Робота з Llama 3

Що таке Llama 3?

 

  • Резюмування

Скріншот 2025-02-19 о 11.01.25.png

Робота з Llama 3

Що таке Llama 3?

 

  • Резюмування

 

  • Аналіз даних

Скріншот 2025-02-19 о 11.01.16.png

Робота з Llama 3

Що таке Llama 3?

 

  • Резюмування

 

  • Аналіз даних

 

  • Помічник для кодування

Скріншот 2025-02-19 о 11.01.07.png

Робота з Llama 3

Що таке Llama 3?

Скріншот 2025-02-19 о 11.32.24.png

Llama 3:

  • Розроблено в Meta
Робота з Llama 3

Що таке Llama 3?

Скріншот 2025-02-19 о 11.32.18.png

Llama 3:

  • Розроблено в Meta
  • Генерація тексту
Робота з Llama 3

Що таке Llama 3?

Скріншот 2025-02-19 о 11.32.12.png

  • Розроблено в Meta
  • Генерація тексту
  • Навчена на велетенському наборі даних
    • Еквівалент 2000 Вікіпедій
  • Відкрите джерело
Робота з Llama 3

Навіщо запускати Llama 3 локально

  • Приклад: промислова автоматизація
    • Llama прогнозує потреби в обслуговуванні

3.jpg

1 https://ai.meta.com/blog/aitomatic-built-with-llama/
Робота з Llama 3

Навіщо запускати Llama 3 локально

 

  • Конфіденційність і безпека

Скріншот 2025-02-19 о 11.48.10.png

Робота з Llama 3

Навіщо запускати Llama 3 локально

 

  • Конфіденційність і безпека

 

  • Економічність

Скріншот 2025-02-19 о 11.48.03.png

Робота з Llama 3

Навіщо запускати Llama 3 локально

 

  • Конфіденційність і безпека

 

  • Економічність

 

  • Налаштування під себе

Скріншот 2025-02-19 о 11.47.54.png

Робота з Llama 3

Використання Llama локально

  • Доступна локально, якщо встановлено Python

Скріншот 2025-02-19 о 11.54.07.png

  • Можна використовувати через бібліотеку llama-cpp-python
  • Запустіть pip install
pip install llama-cpp-python
Робота з Llama 3

Як ставити запитання Llama

from llama_cpp import Llama

llm = Llama(model_path = "path/to/model.gguf")

output = llm("What are some ways to improve customer retention?")
  • Імпортуйте клас Llama
  • Ініціалізуйте LLM
    • Можна надсилати підказки й отримувати відповіді
    • Модель у форматі GGUF
  • Передайте запитання в LLM
Робота з Llama 3

Як ставити запитання Llama

 

  • Модель отримує підказку
  • Опрацьовує підказку
  • Повертає відповідь

prompting.jpg

Робота з Llama 3

Розбираємо результат

  • Відповідь має формат словника
output

{'id': 'cmpl-af88304f-97b0-49f5-ba20-db87f86c4068',
 'object': 'text_completion',
 'created': 1715222298,
 'model': './Llama3-gguf-unsloth.Q4_K_M.gguf',
 'choices': [{'text': 'Improving customer retention is crucial for any business, as 
 it leads to increased revenue, positive word-of-mouth, and cost savings...'},
 ...]
}
Робота з Llama 3

Розбираємо результат

  • Дістаньте "text" з елемента 0 у "choices"
output["choices"][0]["text"]

'Improving customer retention is crucial for any business, as 
 it leads to increased revenue, positive word-of-mouth, and cost savings. 
 Here are some effective ways to boost customer retention:
 1. Personalize the Customer Experience
 Tailor your interactions with customers based on their preferences, behaviors, and 
 purchase history. Use data and analytics to create personalized offers, 
 recommendations, and communications.
 2. Foster Strong Relationships
 Build strong, human connections with your customers. Train your...'
Робота з Llama 3

Давайте потренуємось!

Робота з Llama 3

Preparing Video For Download...