Bibliotecas de fine-tuning do Llama

Ajuste Fino com Llama 3

Francesca Donadoni

Curriculum Manager, DataCamp

Quando usar fine-tuning

Modelo pré-treinado
Usa dados especializados

Uma pessoa Engenheira de IA olhando para uma representação de parâmetros de modelo.

Melhorar acurácia
Reduzir viés
Expandir base de conhecimento

Como usar fine-tuning

Qualidade dos dados
Capacidade do modelo
Definição da tarefa

Processo de fine-tuning

O loop de treino. O treino gera um modelo ajustado. A avaliação usa o modelo ajustado e um dataset de avaliação.

Como usar fine-tuning

Qualidade dos dados
Capacidade do modelo
Definição da tarefa

Processo de fine-tuning

O loop de treino. Um dataset de treino inicia o treino, gerando um modelo ajustado. A avaliação usa o modelo ajustado e um dataset de avaliação.

Como usar fine-tuning

Qualidade dos dados
Capacidade do modelo
Definição da tarefa

Processo de fine-tuning

O loop de treino. Um dataset de treino, modelo e tokenizer iniciam o treino, gerando um modelo ajustado. A avaliação usa o modelo ajustado e um dataset de avaliação.

Como usar fine-tuning

Qualidade dos dados
Capacidade do modelo
Definição da tarefa

Processo de fine-tuning

O loop de treino. Um dataset de treino, argumentos, modelo e tokenizer iniciam o treino, gerando um modelo ajustado. A avaliação usa o modelo ajustado e um dataset de avaliação.

Como usar fine-tuning

Qualidade dos dados
Capacidade do modelo
Definição da tarefa

Processo de fine-tuning
Novo modelo
Avaliação

O loop de treino. Um dataset de treino, argumentos, modelo, tokenizer e classe de fine-tuning iniciam o treino, gerando um modelo ajustado. A avaliação usa o modelo ajustado e um dataset de avaliação.

Bibliotecas de fine-tuning do Llama

📚 Várias bibliotecas para fine-tuning

🦙 TorchTune para fine-tuning do Llama

🚀 Iniciar uma tarefa de fine-tuning com TorchTune

Opções para fine-tuning do Llama

TorchTune
- Baseado em templates configuráveis
- Ideal para: escalar rápido

Um ícone de relógio representando experimentação rápida.

SFTTrainer do Hugging Face
- Acesso a outros LLMs
- Ideal para: ajustar vários modelos

Um ícone representando vários modelos.

Unsloth
- Uso eficiente de memória
- Ideal para: hardware limitado

Um ícone representando hardware de CPU.

Axolotl
- Abordagem modular
- Ideal para: sem reconfiguração extensa

Um ícone de engrenagem e mão representando configuração.

TorchTune e as receitas de fine-tuning

Receitas do TorchTune:
- Templates modulares
- Configuráveis para diferentes projetos
- Mantêm o código organizado
- Garantem reprodutibilidade

Ilustração de uma sopa sendo preparada para representar uma receita.

Lista do TorchTune

Rodar no terminal
Ambiente com Python
Instalar TorchTune
```
pip3 install torchtune
```
Listar receitas disponíveis
```
tune ls
```
! se usar IPython
```
!tune ls
```

Lista do TorchTune

!tune ls

Saída:

RECIPE                                   CONFIG                                  
full_finetune_single_device              llama3/8B_full_single_device            
                                         llama3_1/8B_full_single_device          
                                         llama3_2/1B_full_single_device          
                                         llama3_2/3B_full_single_device       
full_finetune_distributed                llama3/8B_full                          
                                         llama3_1/8B_full                        
                                         llama3_2/1B_full                          
                                         ...

Execução no TorchTune

Usar receita + --config + configuração

Rodar fine-tuning

tune run full_finetune_single_device --config \
llama3_1/8B_lora_single_device

Parâmetros device=cpu ou device=cuda
epochs=<int> (<int> é 0 ou inteiro positivo)

Vamos praticar!

Ajuste Fino com Llama 3