Cải thiện hiệu suất mô hình

Nhập môn Deep Learning với PyTorch

Jasmin Ludolf

Senior Data Science Content Developer, DataCamp

Các bước tối đa hóa hiệu suất

$$

  • Ta có giải được bài toán không?

  • Thiết lập đường cơ sở hiệu suất

$$

  • Tăng hiệu suất trên tập validation

$$ $$

  • Đạt hiệu suất tốt nhất có thể

Bước 1

Bước 2

Bước 3

Nhập môn Deep Learning với PyTorch

Bước 1: overfit tập huấn luyện

  • Sửa vòng lặp huấn luyện để overfit một điểm dữ liệu

    features, labels = next(iter(dataloader))
for i in range(1000):
  outputs = model(features)
  loss = criterion(outputs, labels)
  optimizer.zero_grad()
  loss.backward()
  optimizer.step()
    • Nên đạt accuracy 1.0 và loss 0

  • Sau đó mở rộng ra toàn bộ tập huấn luyện

    • Giữ siêu tham số mặc định
Nhập môn Deep Learning với PyTorch

Bước 2: giảm overfitting

  • Mục tiêu: tối đa hóa accuracy trên validation

  • Thử nghiệm với:

    • Dropout
    • Data augmentation
    • Weight decay
    • Giảm dung lượng mô hình

$$

  • Ghi lại từng siêu tham số và accuracy trên validation

overfitting

Nhập môn Deep Learning với PyTorch

Bước 2: giảm overfitting

$$

Mô hình gốc overfit dữ liệu huấn luyện hiệu suất gốc

$$

Mô hình cập nhật có regularization quá mạnh regularization quá mức

Nhập môn Deep Learning với PyTorch

Bước 3: tinh chỉnh siêu tham số

  • Tìm kiếm theo lưới
for factor in range(2, 6):
    lr = 10 ** -factor

tìm kiếm theo lưới

  • Tìm kiếm ngẫu nhiên
factor = np.random.uniform(2, 6)
lr = 10 ** -factor

tìm kiếm ngẫu nhiên

Nhập môn Deep Learning với PyTorch

Ayo berlatih!

Nhập môn Deep Learning với PyTorch

Preparing Video For Download...