Aplicando quantização dinâmica

Modelos de IA escaláveis com PyTorch Lightning

Sergiy Tkachuk

Director, GenAI Productivity

Por que usar quantização?

Redução de memória

Ícone representando redução de memória de computação

Por que usar quantização?

Redução de memória
Aceleração em CPU

Ícones representando redução de memória de computação e um raio

Por que usar quantização?

Redução de memória
Aceleração em CPU
Inferência móvel

Ícones representando redução de memória de computação, um raio e um dispositivo móvel

O que é quantização dinâmica?

Reduz a precisão de pesos e operações
Acelera a inferência
Ideal para dispositivos com poucos recursos

import torch
from torch.quantization 
import quantize_dynamic


model_quantized = quantize_dynamic(
    model, 
    {torch.nn.Linear}, 
    dtype=torch.qint8
)

Avaliando o impacto da quantização

Diagrama de uma balança com dois modelos, o original e o quantizado, mostrando o trade-off entre acurácia e eficiência

Comparação de performance

⚡ Compare velocidade de inferência e uso de memória

📊 Defina trade-offs aceitáveis de acurácia

⛗ Decida se a quantização serve ao deploy

Comparando performance

import time

def measure_time(model, data_loader):
      model.eval()  # Set model to evaluation mode
    start_time = time.time()
    for inputs in data_loader:

        _ = model(inputs)
    end_time = time.time()
    return end_time - start_time


original_time = measure_time(model, test_loader)
quant_time = measure_time(model_quant, test_loader)

print(f"Original Model Time: {original_time:.2f}s")
print(f"Quantized Model Time: {quant_time:.2f}s")

Vamos praticar!

Modelos de IA escaláveis com PyTorch Lightning