Aplikace dynamické kvantizace

Škálovatelné modely AI s PyTorch Lightning

Sergiy Tkachuk

Director, GenAI Productivity

Proč používat kvantizaci?

Snížení paměťových nároků

Ikona znázorňující snížení paměťových nároků

Proč používat kvantizaci?

Snížení paměťových nároků
Akcelerace na CPU

Ikony znázorňující snížení paměťových nároků a blesk

Proč používat kvantizaci?

Snížení paměťových nároků
Akcelerace na CPU
Inference na mobilních zařízeních

Ikony znázorňující snížení paměťových nároků, blesk a mobilní zařízení

Co je dynamická kvantizace?

Snížení přesnosti vah a operací
Zrychlení inference
Ideální pro nasazení na zařízeních s omezenými prostředky

import torch
from torch.quantization 
import quantize_dynamic


model_quantized = quantize_dynamic(
    model, 
    {torch.nn.Linear}, 
    dtype=torch.qint8
)

Hodnocení dopadu kvantizace

Diagram váhy vyrovnávající původní a kvantizovaný model, znázorňující kompromis mezi přesností a efektivitou

Porovnání výkonu

⚡ Porovnání rychlosti inference a nároků na paměť

📊 Určení přijatelných kompromisů v přesnosti

⛗ Rozhodnutí o vhodnosti kvantizace podle potřeb nasazení

Porovnání výkonu

import time

def measure_time(model, data_loader):
      model.eval()  # Set model to evaluation mode
    start_time = time.time()
    for inputs in data_loader:

        _ = model(inputs)
    end_time = time.time()
    return end_time - start_time


original_time = measure_time(model, test_loader)
quant_time = measure_time(model_quant, test_loader)

print(f"Original Model Time: {original_time:.2f}s")
print(f"Quantized Model Time: {quant_time:.2f}s")

Pojďme procvičovat!

Škálovatelné modely AI s PyTorch Lightning