Что такое Llama?

Работа с Llama 3

Imtihan Ahmed

Machine Learning Engineer

Знакомьтесь: преподаватель

Имтихан Ахмед
Инженер по машинному обучению
Шесть лет опыта
ИИ в промышленных масштабах

Фото профиля преподавателя

Что такое Llama 3?

Суммаризация

Screenshot 2025-02-19 at 11.01.25.png

Что такое Llama 3?

Суммаризация

Анализ данных

Screenshot 2025-02-19 at 11.01.16.png

Что такое Llama 3?

Суммаризация

Анализ данных

Помощник в написании кода

Screenshot 2025-02-19 at 11.01.07.png

Что такое Llama 3?

Screenshot 2025-02-19 at 11.32.24.png

Llama 3:

Разработана компанией Meta

Что такое Llama 3?

Screenshot 2025-02-19 at 11.32.18.png

Llama 3:

Разработана компанией Meta
Генерация текста

Что такое Llama 3?

Screenshot 2025-02-19 at 11.32.12.png

Разработана компанией Meta
Генерация текста
Обучена на огромном наборе данных
- Эквивалент 2000 Википедий
Открытый исходный код

Зачем запускать Llama 3 локально

Пример: промышленная автоматизация
- Llama прогнозирует потребности в техническом обслуживании

¹ https://ai.meta.com/blog/aitomatic-built-with-llama/

Зачем запускать Llama 3 локально

Конфиденциальность и безопасность

Screenshot 2025-02-19 at 11.48.10.png

Зачем запускать Llama 3 локально

Конфиденциальность и безопасность

Экономия средств

Screenshot 2025-02-19 at 11.48.03.png

Зачем запускать Llama 3 локально

Конфиденциальность и безопасность

Экономия средств

Гибкая настройка

Screenshot 2025-02-19 at 11.47.54.png

Локальное использование Llama

Доступна локально при наличии установленного Python

Screenshot 2025-02-19 at 11.54.07.png

Используется через библиотеку llama-cpp-python
Установка через pip

pip install llama-cpp-python

Как задавать вопросы Llama

from llama_cpp import Llama

llm = Llama(model_path = "path/to/model.gguf")

output = llm("What are some ways to improve customer retention?")

Импорт класса Llama
Инициализация LLM
- Отправка запросов и получение ответов
- Модель в формате GGUF
Передача вопроса в LLM

Как задавать вопросы Llama

Модель получает запрос
Обрабатывает запрос
Возвращает ответ

Разбор вывода

Ответ представлен в формате словаря

output

{'id': 'cmpl-af88304f-97b0-49f5-ba20-db87f86c4068',
 'object': 'text_completion',
 'created': 1715222298,
 'model': './Llama3-gguf-unsloth.Q4_K_M.gguf',
 'choices': [{'text': 'Improving customer retention is crucial for any business, as 
 it leads to increased revenue, positive word-of-mouth, and cost savings...'},
 ...]
}

Разбор вывода

Доступ к "text" из элемента 0 в "choices"

output["choices"][0]["text"]

'Improving customer retention is crucial for any business, as 
 it leads to increased revenue, positive word-of-mouth, and cost savings. 
 Here are some effective ways to boost customer retention:
 1. Personalize the Customer Experience
 Tailor your interactions with customers based on their preferences, behaviors, and 
 purchase history. Use data and analytics to create personalized offers, 
 recommendations, and communications.
 2. Foster Strong Relationships
 Build strong, human connections with your customers. Train your...'

Давайте потренируемся!

Работа с Llama 3