Покращення роботи моделі

Вступ до Deep Learning з PyTorch

Jasmin Ludolf

Senior Data Science Content Developer, DataCamp

Кроки для максимізації якості

$$

  • Чи можемо розв'язати проблему?

  • Встановіть базовий рівень якості

$$

  • Підвищте якість на валідаційній вибірці

$$ $$

  • Досягніть максимально можливої якості

Крок 1

Крок 2

Крок 3

Вступ до Deep Learning з PyTorch

Крок 1: перенавчіть тренувальний набір

  • Змініть цикл навчання, щоб перенавчити один приклад

    features, labels = next(iter(dataloader))
for i in range(1000):
  outputs = model(features)
  loss = criterion(outputs, labels)
  optimizer.zero_grad()
  loss.backward()
  optimizer.step()
    • Має дійти до точності 1.0 і нульової втрати

  • Потім масштабуйте на весь тренувальний набір

    • Залиште типові гіперпараметри
Вступ до Deep Learning з PyTorch

Крок 2: зменште перенавчання

  • Мета: максимізувати валідаційну точність

  • Експериментуйте з:

    • Dropout
    • Аугментацією даних
    • Weight decay
    • Зменшенням ємності моделі

$$

  • Фіксуйте кожен гіперпараметр і валідаційну точність

перенавчання

Вступ до Deep Learning з PyTorch

Крок 2: зменште перенавчання

$$

Початкова модель перенавчається на тренувальних даних початкові результати

$$

Оновлена модель із надмірною регуляризацією надмірна регуляризація

Вступ до Deep Learning з PyTorch

Крок 3: тонке налаштування гіперпараметрів

  • Перебір за сіткою
for factor in range(2, 6):
    lr = 10 ** -factor

перебір за сіткою

  • Випадковий пошук
factor = np.random.uniform(2, 6)
lr = 10 ** -factor

випадковий пошук

Вступ до Deep Learning з PyTorch

Давайте потренуємось!

Вступ до Deep Learning з PyTorch

Preparing Video For Download...