Aplicarea cuantizării dinamice

Modele AI scalabile cu PyTorch Lightning

Sergiy Tkachuk

Director, GenAI Productivity

De ce să folosim cuantizarea?

Reducerea memoriei

Pictogramă reprezentând reducerea memoriei de calcul

De ce să folosim cuantizarea?

Reducerea memoriei
Accelerare CPU

Pictograme reprezentând reducerea memoriei de calcul și un fulger

De ce să folosim cuantizarea?

Reducerea memoriei
Accelerare CPU
Inferență pe mobil

Pictograme reprezentând reducerea memoriei de calcul, un fulger și un dispozitiv mobil

Ce este cuantizarea dinamică?

Reduce precizia ponderilor și operațiilor
Îmbunătățește viteza de inferență
Ideal pentru dispozitive cu resurse limitate

import torch
from torch.quantization 
import quantize_dynamic


model_quantized = quantize_dynamic(
    model, 
    {torch.nn.Linear}, 
    dtype=torch.qint8
)

Evaluarea impactului cuantizării

Diagramă cu o balanță între modelul original și cel cuantizat, reprezentând compromisul dintre acuratețe și eficiență

Compararea performanței

⚡ Comparați viteza de inferență și amprenta de memorie

📊 Determinați compromisurile acceptabile de acuratețe

⛗ Decideți dacă cuantizarea este potrivită pentru implementare

Compararea performanței

import time

def measure_time(model, data_loader):
      model.eval()  # Set model to evaluation mode
    start_time = time.time()
    for inputs in data_loader:

        _ = model(inputs)
    end_time = time.time()
    return end_time - start_time


original_time = measure_time(model, test_loader)
quant_time = measure_time(model_quant, test_loader)

print(f"Original Model Time: {original_time:.2f}s")
print(f"Quantized Model Time: {quant_time:.2f}s")

Să exersăm!

Modele AI scalabile cu PyTorch Lightning