Współczynnik uczenia i momentum

Wprowadzenie do uczenia głębokiego z PyTorch

Jasmin Ludolf

Senior Data Science Content Developer, DataCamp

Aktualizacja wag za pomocą SGD

  • Trenowanie sieci neuronowej = rozwiązywanie problemu optymalizacji.

Optymalizator stochastycznego gradientu (SGD)

sgd = optim.SGD(model.parameters(), lr=0.01, momentum=0.95)
  • Dwa argumenty:
    • współczynnik uczenia: kontroluje rozmiar kroku
    • momentum: dodaje bezwładność, zapobiega utknięciu
Wprowadzenie do uczenia głębokiego z PyTorch

Wpływ współczynnika uczenia: wartość optymalna

przykład optymalnego współczynnika uczenia

  • Rozmiar kroku maleje w pobliżu zera wraz ze zmniejszaniem się gradientu
Wprowadzenie do uczenia głębokiego z PyTorch

Wpływ współczynnika uczenia: mała wartość

przykład małego współczynnika uczenia

Wprowadzenie do uczenia głębokiego z PyTorch

Wpływ współczynnika uczenia: wysoka wartość

przykład zbyt wysokiego współczynnika uczenia

Wprowadzenie do uczenia głębokiego z PyTorch

Funkcje wypukłe i niewypukłe

To jest funkcja wypukła.

przykład funkcji wypukłej

To jest funkcja niewypukła.

przykład funkcji niewypukłej

  • Funkcje straty są niewypukłe
Wprowadzenie do uczenia głębokiego z PyTorch

Bez momentum

  • lr = 0.01 momentum = 0, po 100 krokach minimum znalezione dla x = -1.23 i y = -0.14

przykład optymalizatora utknął w lokalnym minimum

Wprowadzenie do uczenia głębokiego z PyTorch

Z momentum

  • lr = 0.01 momentum = 0.9, po 100 krokach minimum znalezione dla x = 0.92 i y = -2.04

przykład optymalizacji z momentum

Wprowadzenie do uczenia głębokiego z PyTorch

Podsumowanie

$$

Współczynnik uczenia Momentum
Kontroluje rozmiar kroku Kontroluje bezwładność
Za wysoki → słaba wydajność Pomaga uciec z lokalnego minimum
Za niski → wolne uczenie Za małe → optymalizator utyka
Typowy zakres: 0.01 ($10^{-2}$) i 0.0001 ($10^{-4}$) Typowy zakres: 0.85 do 0.99
Wprowadzenie do uczenia głębokiego z PyTorch

Czas na ćwiczenia!

Wprowadzenie do uczenia głębokiego z PyTorch

Preparing Video For Download...