O que é o Llama?

Trabalhando com Llama 3

Imtihan Ahmed

Machine Learning Engineer

Conheça o instrutor

 

  • Imtihan Ahmed
  • Engenheiro de Machine Learning
  • Seis anos de experiência
  • IA em escala

  Foto do instrutor

Trabalhando com Llama 3

O que é o Llama 3?

 

  • Resumo de textos

Captura de tela 2025-02-19 às 11.01.25.png

Trabalhando com Llama 3

O que é o Llama 3?

 

  • Resumo de textos

 

  • Análise de dados

Captura de tela 2025-02-19 às 11.01.16.png

Trabalhando com Llama 3

O que é o Llama 3?

 

  • Resumo de textos

 

  • Análise de dados

 

  • Assistente de código

Captura de tela 2025-02-19 às 11.01.07.png

Trabalhando com Llama 3

O que é o Llama 3?

Captura de tela 2025-02-19 às 11.32.24.png

Llama 3:

  • Desenvolvido pela Meta
Trabalhando com Llama 3

O que é o Llama 3?

Captura de tela 2025-02-19 às 11.32.18.png

Llama 3:

  • Desenvolvido pela Meta
  • Geração de texto
Trabalhando com Llama 3

O que é o Llama 3?

Captura de tela 2025-02-19 às 11.32.12.png

  • Desenvolvido pela Meta
  • Geração de texto
  • Treinado em um dataset massivo
    • Equivalente a 2000 Wikipédias
  • Código aberto
Trabalhando com Llama 3

Por que rodar o Llama 3 localmente

  • Exemplo: automação industrial
    • Llama prevendo necessidades de manutenção

3.jpg

1 https://ai.meta.com/blog/aitomatic-built-with-llama/
Trabalhando com Llama 3

Por que rodar o Llama 3 localmente

 

  • Privacidade e segurança

Captura de tela 2025-02-19 às 11.48.10.png

Trabalhando com Llama 3

Por que rodar o Llama 3 localmente

 

  • Privacidade e segurança

 

  • Custo-benefício

Captura de tela 2025-02-19 às 11.48.03.png

Trabalhando com Llama 3

Por que rodar o Llama 3 localmente

 

  • Privacidade e segurança

 

  • Custo-benefício

 

  • Personalização

Captura de tela 2025-02-19 às 11.47.54.png

Trabalhando com Llama 3

Usando o Llama localmente

  • Disponível localmente com Python instalado

Captura de tela 2025-02-19 às 11.54.07.png

  • Pode ser usado via biblioteca llama-cpp-python
  • Execute pip install
pip install llama-cpp-python
Trabalhando com Llama 3

Fazendo perguntas ao Llama

from llama_cpp import Llama

llm = Llama(model_path = "path/to/model.gguf")

output = llm("What are some ways to improve customer retention?")
  • Importe a classe Llama
  • Inicialize o LLM
    • Envie prompts e receba respostas
    • Modelo no formato GGUF
  • Passe uma pergunta ao LLM
Trabalhando com Llama 3

Fazendo perguntas ao Llama

 

  • O modelo recebe o prompt
  • Processa o prompt
  • Retorna uma resposta

prompting.jpg

Trabalhando com Llama 3

Explorando o output

  • A resposta vem em um dicionário
output

{'id': 'cmpl-af88304f-97b0-49f5-ba20-db87f86c4068',
 'object': 'text_completion',
 'created': 1715222298,
 'model': './Llama3-gguf-unsloth.Q4_K_M.gguf',
 'choices': [{'text': 'Improving customer retention is crucial for any business, as 
 it leads to increased revenue, positive word-of-mouth, and cost savings...'},
 ...]
}
Trabalhando com Llama 3

Explorando o output

  • Acesse "text" do elemento 0 em "choices"
output["choices"][0]["text"]

'Improving customer retention is crucial for any business, as 
 it leads to increased revenue, positive word-of-mouth, and cost savings. 
 Here are some effective ways to boost customer retention:
 1. Personalize the Customer Experience
 Tailor your interactions with customers based on their preferences, behaviors, and 
 purchase history. Use data and analytics to create personalized offers, 
 recommendations, and communications.
 2. Foster Strong Relationships
 Build strong, human connections with your customers. Train your...'
Trabalhando com Llama 3

Vamos praticar!

Trabalhando com Llama 3

Preparing Video For Download...