Dynamische kwantisatie toepassen

Schaalbare AI-modellen met PyTorch Lightning

Sergiy Tkachuk

Director, GenAI Productivity

Waarom kwantiseren?

Minder geheugen

Pictogram dat een vermindering van computergeheugen weergeeft

Waarom kwantiseren?

Minder geheugen
Sneller op CPU

Pictogrammen voor minder geheugen en een bliksemschicht

Waarom kwantiseren?

Minder geheugen
Sneller op CPU
Inference op mobiel

Pictogrammen voor minder geheugen, een bliksemschicht en een mobiel apparaat

Wat is dynamische kwantisatie?

Precisie van gewichten en operaties verlagen
Snellere inferentie
Ideaal voor apparaten met beperkte resources

import torch
from torch.quantization 
import quantize_dynamic


model_quantized = quantize_dynamic(
    model, 
    {torch.nn.Linear}, 
    dtype=torch.qint8
)

Impact van kwantisatie evalueren

Een weegschaal met twee modellen, het origineel en het gekwantiseerde, die de trade-off tussen nauwkeurigheid en efficiëntie toont

Prestatievergelijking

⚡ Vergelijk inferentiesnelheid en geheugengebruik

📊 Bepaal acceptabele nauwkeurigheidsverlies

⛗ Beslis of kwantisatie past bij de deployment-eisen

Prestaties vergelijken

import time

def measure_time(model, data_loader):
      model.eval()  # Set model to evaluation mode
    start_time = time.time()
    for inputs in data_loader:

        _ = model(inputs)
    end_time = time.time()
    return end_time - start_time


original_time = measure_time(model, test_loader)
quant_time = measure_time(model_quant, test_loader)

print(f"Original Model Time: {original_time:.2f}s")
print(f"Quantized Model Time: {quant_time:.2f}s")

Laten we oefenen!

Schaalbare AI-modellen met PyTorch Lightning