Meningkatkan kinerja model

Pengantar Deep Learning dengan PyTorch

Jasmin Ludolf

Senior Data Science Content Developer, DataCamp

Langkah memaksimalkan kinerja

Dapatkah masalahnya diselesaikan?
Tetapkan baseline kinerja

Tingkatkan kinerja pada validation set

$$ $$

Capai kinerja setinggi mungkin

Langkah 1

Langkah 2

Langkah 3

Langkah 1: overfit training set

Ubah training loop untuk overfit pada satu data point

features, labels = next(iter(dataloader))
for i in range(1000):
  outputs = model(features)
  loss = criterion(outputs, labels)
  optimizer.zero_grad()
  loss.backward()
  optimizer.step()

Harus mencapai akurasi 1,0 dan loss 0

Lalu skala ke seluruh training set
- Pertahankan hyperparameter default

Langkah 2: kurangi overfitting

Tujuan: maksimalkan akurasi validasi
Eksperimen dengan:
- Dropout
- Augmentasi data
- Weight decay
- Mengurangi kapasitas model

Catat tiap hyperparameter dan akurasi validasi

overfitting

Langkah 2: kurangi overfitting

Model asli overfitting pada data latih kinerja awal

Model diperbarui dengan regularisasi berlebihan terlalu banyak regularisasi

Langkah 3: fine-tune hyperparameter

Pencarian grid

for factor in range(2, 6):
    lr = 10 ** -factor

pencarian grid

Pencarian acak

factor = np.random.uniform(2, 6)
lr = 10 ** -factor

pencarian acak

Ayo berlatih!

Pengantar Deep Learning dengan PyTorch