Inlärningshastighet och momentum

Introduktion till djupinlärning med PyTorch

Jasmin Ludolf

Senior Data Science Content Developer, DataCamp

Uppdatera vikter med SGD

Stochastic Gradient Descent (SGD) optimizer

sgd = optim.SGD(model.parameters(), lr=0.01, momentum=0.95)

Två argument:
- inlärningshastighet: styr stegstorleken
- momentum: tillför tröghet för att undvika att fastna

ett exempel på optimal inlärningshastighet

ett exempel på låg inlärningshastighet

ett exempel på alltför hög inlärningshastighet

Det här är en konvex funktion.

ett exempel på en konvex funktion

Det här är en icke-konvex funktion.

ett exempel på en icke-konvex funktion

lr = 0.01 momentum = 0, efter 100 steg hittades minimum för x = -1.23 och y = -0.14

ett exempel på optimeraren som fastnar i ett lokalt minimum

lr = 0.01 momentum = 0.9, efter 100 steg hittades minimum för x = 0.92 och y = -2.04

ett exempel på optimering med momentum

Inlärningshastighet	Momentum
Styr stegstorleken	Styr tröghet
För hög → sämre prestanda	Hjälper till att undvika lokala minima
För låg → långsam träning	För litet → optimeraren fastnar
Typiskt intervall: 0,01 ($10^{-2}$) och 0,0001 ($10^{-4}$)	Typiskt intervall: 0,85 till 0,99

Introduktion till djupinlärning med PyTorch