Zlepšení výkonu modelu

Introduction to Deep Learning with PyTorch

Jasmin Ludolf

Senior Data Science Content Developer, DataCamp

Kroky k maximalizaci výkonu

$$

  • Je problém řešitelný?

  • Nastavení výkonnostního základu

$$

  • Zvýšení výkonu na validační sadě

$$ $$

  • Dosažení nejlepšího možného výkonu

Krok 1

Krok 2

Krok 3

Introduction to Deep Learning with PyTorch

Krok 1: přetrénování trénovací sady

  • Upravte tréninkovou smyčku pro přetrénování na jediném datovém bodě

    features, labels = next(iter(dataloader))
for i in range(1000):
  outputs = model(features)
  loss = criterion(outputs, labels)
  optimizer.zero_grad()
  loss.backward()
  optimizer.step()
    • Mělo by dosáhnout přesnosti 1,0 a ztráty 0

  • Poté rozšiřte na celou trénovací sadu

    • Ponechte výchozí hyperparametry
Introduction to Deep Learning with PyTorch

Krok 2: omezení přetrénování

  • Cíl: maximalizovat přesnost na validační sadě

  • Experimentujte s:

    • Dropoutem
    • Augmentací dat
    • Penalizací vah
    • Snížením kapacity modelu

$$

  • Sledujte každý hyperparametr a přesnost na validační sadě

přetrénování

Introduction to Deep Learning with PyTorch

Krok 2: omezení přetrénování

$$

Původní model přetrénovaný na trénovacích datech původní výkony

$$

Aktualizovaný model s nadměrnou regularizací nadměrná regularizace

Introduction to Deep Learning with PyTorch

Krok 3: doladění hyperparametrů

  • Prohledávání mřížky
for factor in range(2, 6):
    lr = 10 ** -factor

prohledávání mřížky

  • Náhodné prohledávání
factor = np.random.uniform(2, 6)
lr = 10 ** -factor

náhodné prohledávání

Introduction to Deep Learning with PyTorch

Pojďme cvičit!

Introduction to Deep Learning with PyTorch

Preparing Video For Download...