Stosowanie kwantyzacji dynamicznej

Skalowalne modele AI z PyTorch Lightning

Sergiy Tkachuk

Director, GenAI Productivity

Po co stosować kwantyzację?

Redukcja pamięci

Ikona reprezentująca redukcję pamięci obliczeniowej

Po co stosować kwantyzację?

Redukcja pamięci
Przyspieszenie CPU

Ikony reprezentujące redukcję pamięci obliczeniowej i błyskawicę

Po co stosować kwantyzację?

Redukcja pamięci
Przyspieszenie CPU
Wnioskowanie na urządzeniach mobilnych

Ikony reprezentujące redukcję pamięci obliczeniowej, błyskawicę i urządzenie mobilne

Czym jest kwantyzacja dynamiczna?

Redukcja precyzji wag i operacji
Przyspiesza wnioskowanie
Idealne do wdrożeń na urządzeniach o ograniczonych zasobach

import torch
from torch.quantization 
import quantize_dynamic


model_quantized = quantize_dynamic(
    model, 
    {torch.nn.Linear}, 
    dtype=torch.qint8
)

Ocena wpływu kwantyzacji

Diagram wagi balansującej dwa modele — oryginalny i skwantyzowany — ilustrujący kompromis między dokładnością a wydajnością

Porównanie wydajności

⚡ Porównaj szybkość wnioskowania i zużycie pamięci

📊 Określ akceptowalne kompromisy w zakresie dokładności

⛗ Oceń przydatność kwantyzacji w zależności od wymagań wdrożenia

Porównywanie wydajności

import time

def measure_time(model, data_loader):
      model.eval()  # Set model to evaluation mode
    start_time = time.time()
    for inputs in data_loader:

        _ = model(inputs)
    end_time = time.time()
    return end_time - start_time


original_time = measure_time(model, test_loader)
quant_time = measure_time(model_quant, test_loader)

print(f"Original Model Time: {original_time:.2f}s")
print(f"Quantized Model Time: {quant_time:.2f}s")

Czas na ćwiczenia!

Skalowalne modele AI z PyTorch Lightning