Dinamik nicelemeyi uygulama

PyTorch Lightning ile Ölçeklenebilir AI Modelleri

Sergiy Tkachuk

Director, GenAI Productivity

Neden niceleme kullanılır?

Bellek azaltma

Hesaplama belleğinde azalmayı temsil eden simge

Neden niceleme kullanılır?

Bellek azaltma
CPU hızlanması

Hesaplama belleğinde azalma ve bir yıldırım simgesi

Neden niceleme kullanılır?

Bellek azaltma
CPU hızlanması
Mobil çıkarım

Hesaplama belleğinde azalma, bir yıldırım ve bir mobil cihaz simgeleri

Dinamik niceleme nedir?

Ağırlıkların ve işlemlerin duyarlılığını düşür
Çıkarım hızını artırır
Kaynak kısıtlı cihazlarda dağıtım için ideal

import torch
from torch.quantization 
import quantize_dynamic


model_quantized = quantize_dynamic(
    model, 
    {torch.nn.Linear}, 
    dtype=torch.qint8
)

Nicelemenin etkisini değerlendirme

Doğruluk ve verimlilik arasındaki ödünleşimi simgeleyen, özgün ve nicelemeli iki modeli dengeleyen bir terazi diyagramı

Performans karşılaştırması

⚡ Çıkarım hızı ve bellek ayak izini karşılaştır

📊 Kabul edilebilir doğruluk ödünleşimlerini belirle

⛗ Dağıtım ihtiyaçlarına göre nicelemenin uygunluğuna karar ver

Performansı karşılaştırma

import time

def measure_time(model, data_loader):
      model.eval()  # Set model to evaluation mode
    start_time = time.time()
    for inputs in data_loader:

        _ = model(inputs)
    end_time = time.time()
    return end_time - start_time


original_time = measure_time(model, test_loader)
quant_time = measure_time(model_quant, test_loader)

print(f"Original Model Time: {original_time:.2f}s")
print(f"Quantized Model Time: {quant_time:.2f}s")

Hadi pratik yapalım!

PyTorch Lightning ile Ölçeklenebilir AI Modelleri