Llama là gì?

Làm việc với Llama 3

Imtihan Ahmed

Machine Learning Engineer

Gặp gỡ giảng viên

 

  • Imtihan Ahmed
  • Kỹ sư Machine Learning
  • 6 năm kinh nghiệm
  • AI ở quy mô lớn

  Ảnh hồ sơ giảng viên

Làm việc với Llama 3

Llama 3 là gì?

 

  • Tóm tắt

Ảnh chụp màn hình 2025-02-19 lúc 11.01.25.png

Làm việc với Llama 3

Llama 3 là gì?

 

  • Tóm tắt

 

  • Phân tích dữ liệu

Ảnh chụp màn hình 2025-02-19 lúc 11.01.16.png

Làm việc với Llama 3

Llama 3 là gì?

 

  • Tóm tắt

 

  • Phân tích dữ liệu

 

  • Trợ lý lập trình

Ảnh chụp màn hình 2025-02-19 lúc 11.01.07.png

Làm việc với Llama 3

Llama 3 là gì?

Ảnh chụp màn hình 2025-02-19 lúc 11.32.24.png

Llama 3:

  • Phát triển bởi Meta
Làm việc với Llama 3

Llama 3 là gì?

Ảnh chụp màn hình 2025-02-19 lúc 11.32.18.png

Llama 3:

  • Phát triển bởi Meta
  • Sinh văn bản
Làm việc với Llama 3

Llama 3 là gì?

Ảnh chụp màn hình 2025-02-19 lúc 11.32.12.png

  • Phát triển bởi Meta
  • Sinh văn bản
  • Huấn luyện trên tập dữ liệu rất lớn
    • Tương đương 2000 Wikipedia
  • Mã nguồn mở
Làm việc với Llama 3

Vì sao chạy Llama 3 cục bộ

  • Ví dụ: tự động hóa công nghiệp
    • Llama dự đoán nhu cầu bảo trì

3.jpg

1 https://ai.meta.com/blog/aitomatic-built-with-llama/
Làm việc với Llama 3

Vì sao chạy Llama 3 cục bộ

 

  • Quyền riêng tư và bảo mật

Ảnh chụp màn hình 2025-02-19 lúc 11.48.10.png

Làm việc với Llama 3

Vì sao chạy Llama 3 cục bộ

 

  • Quyền riêng tư và bảo mật

 

  • Tiết kiệm chi phí

Ảnh chụp màn hình 2025-02-19 lúc 11.48.03.png

Làm việc với Llama 3

Vì sao chạy Llama 3 cục bộ

 

  • Quyền riêng tư và bảo mật

 

  • Tiết kiệm chi phí

 

  • Tùy biến

Ảnh chụp màn hình 2025-02-19 lúc 11.47.54.png

Làm việc với Llama 3

Dùng Llama cục bộ

  • Có sẵn cục bộ khi đã cài Python

Ảnh chụp màn hình 2025-02-19 lúc 11.54.07.png

  • Dùng qua thư viện llama-cpp-python
  • Chạy pip install
pip install llama-cpp-python
Làm việc với Llama 3

Đặt câu hỏi cho Llama

from llama_cpp import Llama

llm = Llama(model_path = "path/to/model.gguf")

output = llm("What are some ways to improve customer retention?")
  • Import lớp Llama
  • Khởi tạo LLM
    • Gửi prompt và nhận phản hồi
    • Mô hình định dạng GGUF
  • Gửi câu hỏi cho LLM
Làm việc với Llama 3

Đặt câu hỏi cho Llama

 

  • Mô hình nhận prompt
  • Xử lý prompt
  • Trả về phản hồi

nhắc lệnh.jpg

Làm việc với Llama 3

Phân tích kết quả đầu ra

  • Phản hồi ở dạng từ điển
output

{'id': 'cmpl-af88304f-97b0-49f5-ba20-db87f86c4068',
 'object': 'text_completion',
 'created': 1715222298,
 'model': './Llama3-gguf-unsloth.Q4_K_M.gguf',
 'choices': [{'text': 'Improving customer retention is crucial for any business, as 
 it leads to increased revenue, positive word-of-mouth, and cost savings...'},
 ...]
}
Làm việc với Llama 3

Phân tích kết quả đầu ra

  • Truy cập "text" từ phần tử 0 của "choices"
output["choices"][0]["text"]

'Improving customer retention is crucial for any business, as 
 it leads to increased revenue, positive word-of-mouth, and cost savings. 
 Here are some effective ways to boost customer retention:
 1. Personalize the Customer Experience
 Tailor your interactions with customers based on their preferences, behaviors, and 
 purchase history. Use data and analytics to create personalized offers, 
 recommendations, and communications.
 2. Foster Strong Relationships
 Build strong, human connections with your customers. Train your...'
Làm việc với Llama 3

Vamos praticar!

Làm việc với Llama 3

Preparing Video For Download...