Die Leistung des Modells verbessern

Einführung in Deep Learning mit PyTorch

Jasmin Ludolf

Senior Data Science Content Developer, DataCamp

Schritte zur Maximierung der Leistung

Können wir das Problem lösen?
Leistungsrichtwert festlegen

Leistung im Validierungssatz erhöhen

$$ $$

Bestmögliche Leistung erreichen

Schritt 1

Schritt 2

Schritt 3

Schritt 1: Überanpassung der Trainingssatzes

Trainingsschleife so verändern, dass ein einzelner Datenpunkt überangepasst wird

features, labels = next(iter(dataloader))
for i in range(1000):
  outputs = model(features)
  loss = criterion(outputs, labels)
  optimizer.zero_grad()
  loss.backward()
  optimizer.step()

Sollte 1,0 Genauigkeit und 0 Verlust erreichen

Dann auf den gesamte Trainingssatz hochskalieren
- Standard-Hyperparameter beibehalten

Schritt 2: Überanpassung reduzieren

Ziel: Maximierung der Validierungsgenauigkeit
Experiment mit:
- Dropout
- Datenerweiterung
- Gewichtsabnahme
- Reduzierung der Kapazität des Modells

Behalte den Überblick über die einzelnen Hyperparameter und die Validierungsgenauigkeit

Überanpassung

Schritt 2: Überanpassung reduzieren

Ursprüngliches Modell passt sich den Trainingsdaten zu sehr an Ursprüngliche Leistungen

Aktualisiertes Modell mit zu viel Regularisierung

Schritt 3: Feinabstimmung der Hyperparameter

Rastersuche

for factor in range(2, 6):
    lr = 10 ** -factor

Rastersuche

Zufallssuche

factor = np.random.uniform(2, 6)
lr = 10 ** -factor

Zufallssuche

Lass uns üben!

Einführung in Deep Learning mit PyTorch