Dynamische Quantisierung anwenden

Skalierbare KI-Modelle mit PyTorch Lightning

Sergiy Tkachuk

Director, GenAI Productivity

Warum quantisieren?

$$

  • Weniger Speicherbedarf

Symbol für geringeren Speicherbedarf

Skalierbare KI-Modelle mit PyTorch Lightning

Warum quantisieren?

$$

  • Weniger Speicherbedarf
  • Schnellere CPU

Symbole für geringeren Speicherbedarf und einen Blitz

Skalierbare KI-Modelle mit PyTorch Lightning

Warum quantisieren?

$$

  • Weniger Speicherbedarf
  • Schnellere CPU
  • Mobile Inferenz

Symbole für geringeren Speicherbedarf, einen Blitz und ein Mobilgerät

Skalierbare KI-Modelle mit PyTorch Lightning

Was ist dynamische Quantisierung?

$$

  • Präzision von Gewichten und Operationen reduzieren
  • Inferenz schneller
  • Ideal für Geräte mit wenigen Ressourcen

$$

import torch
from torch.quantization 
import quantize_dynamic


model_quantized = quantize_dynamic(
    model, 
    {torch.nn.Linear}, 
    dtype=torch.qint8
)
Skalierbare KI-Modelle mit PyTorch Lightning

Quantisierung bewerten

Ein Diagramm mit einer Waage, die ein Original- und ein quantisiertes Modell ausbalanciert und den Kompromiss zwischen Genauigkeit und Effizienz darstellt

Skalierbare KI-Modelle mit PyTorch Lightning

Leistungsvergleich

$$

  • ⚡ Inferenzzeit und Speicherbedarf vergleichen

$$

  • 📊 Akzeptable Genauigkeits‑Trade-offs bestimmen

$$

  • ⛗ Eignung je nach Deployment bewerten
Skalierbare KI-Modelle mit PyTorch Lightning

Leistung vergleichen

import time

def measure_time(model, data_loader):
      model.eval()  # Set model to evaluation mode
    start_time = time.time()
    for inputs in data_loader:

        _ = model(inputs)
    end_time = time.time()
    return end_time - start_time


original_time = measure_time(model, test_loader)
quant_time = measure_time(model_quant, test_loader)

print(f"Original Model Time: {original_time:.2f}s")
print(f"Quantized Model Time: {quant_time:.2f}s")
Skalierbare KI-Modelle mit PyTorch Lightning

Lass uns üben!

Skalierbare KI-Modelle mit PyTorch Lightning

Preparing Video For Download...