Menerapkan kuantisasi dinamis

Model AI yang Dapat Diskalakan dengan PyTorch Lightning

Sergiy Tkachuk

Director, GenAI Productivity

Mengapa menggunakan kuantisasi?

Pengurangan memori

Ikon yang merepresentasikan pengurangan memori komputasi

Mengapa menggunakan kuantisasi?

Pengurangan memori
Akselerasi CPU

Ikon yang merepresentasikan pengurangan memori komputasi dan kilat

Mengapa menggunakan kuantisasi?

Pengurangan memori
Akselerasi CPU
Inferensi seluler

Ikon yang merepresentasikan pengurangan memori komputasi, kilat, dan perangkat seluler

Apa itu kuantisasi dinamis?

Kurangi presisi bobot dan operasi
Meningkatkan kecepatan inferensi
Ideal untuk perangkat dengan sumber daya terbatas

import torch
from torch.quantization 
import quantize_dynamic


model_quantized = quantize_dynamic(
    model, 
    {torch.nn.Linear}, 
    dtype=torch.qint8
)

Menilai dampak kuantisasi

Diagram timbangan menyeimbangkan dua model, asli dan terkuantisasi, menggambarkan kompromi antara akurasi dan efisiensi

Perbandingan performa

⚡ Bandingkan kecepatan inferensi dan jejak memori

📊 Tentukan kompromi akurasi yang dapat diterima

⛗ Putuskan kesesuaian kuantisasi sesuai kebutuhan deployment

Membandingkan performa

import time

def measure_time(model, data_loader):
      model.eval()  # Set model to evaluation mode
    start_time = time.time()
    for inputs in data_loader:

        _ = model(inputs)
    end_time = time.time()
    return end_time - start_time


original_time = measure_time(model, test_loader)
quant_time = measure_time(model_quant, test_loader)

print(f"Original Model Time: {original_time:.2f}s")
print(f"Quantized Model Time: {quant_time:.2f}s")

Ayo berlatih!

Model AI yang Dapat Diskalakan dengan PyTorch Lightning