Îmbunătățirea performanței modelului

Introducere în Deep Learning cu PyTorch

Jasmin Ludolf

Senior Data Science Content Developer, DataCamp

Pași pentru maximizarea performanței

$$

  • Putem rezolva problema?

  • Stabilirea unei valori de referință

$$

  • Creșterea performanței pe setul de validare

$$ $$

  • Obținerea celei mai bune performanțe posibile

Pasul 1

Pasul 2

Pasul 3

Introducere în Deep Learning cu PyTorch

Pasul 1: supraantrenarea pe setul de antrenare

  • Modificați bucla de antrenare pentru a supraapropia un singur punct de date

    features, labels = next(iter(dataloader))
for i in range(1000):
  outputs = model(features)
  loss = criterion(outputs, labels)
  optimizer.zero_grad()
  loss.backward()
  optimizer.step()
    • Ar trebui să atingă acuratețea 1.0 și pierderea 0

  • Apoi extindeți la întregul set de antrenare

    • Păstrați hiperparametrii impliciți
Introducere în Deep Learning cu PyTorch

Pasul 2: reducerea supraantrenării

  • Obiectiv: maximizarea acurateței de validare

  • Experimentați cu:

    • Dropout
    • Augmentarea datelor
    • Regularizare prin penalizarea ponderilor
    • Reducerea capacității modelului

$$

  • Înregistrați fiecare hiperparametru și acuratețea de validare

supraantrenare

Introducere în Deep Learning cu PyTorch

Pasul 2: reducerea supraantrenării

$$

Modelul original supraantrenat pe datele de antrenare performanțe originale

$$

Model actualizat cu regularizare excesivă regularizare excesivă

Introducere în Deep Learning cu PyTorch

Pasul 3: reglarea hiperparametrilor

  • Căutare în grilă
for factor in range(2, 6):
    lr = 10 ** -factor

căutare în grilă

  • Căutare aleatorie
factor = np.random.uniform(2, 6)
lr = 10 ** -factor

căutare aleatorie

Introducere în Deep Learning cu PyTorch

Să exersăm!

Introducere în Deep Learning cu PyTorch

Preparing Video For Download...