Hantera överanpassning

Introduktion till djupinlärning med PyTorch

Jasmin Ludolf

Senior Data Science Content Developer, DataCamp

Orsaker till överanpassning

Överanpassning: modellen generaliserar inte till osedd data
- Modellen memorerar träningsdata
- Fungerar bra på träningsdata men dåligt på valideringsdata

Möjliga orsaker:

Problem	Lösningar
Datamängden är för liten	Hämta mer data / använd dataaugmentering
Modellen har för stor kapacitet	Minska modellstorleken / lägg till dropout
Vikterna är för stora	Viktreglering

Hantera överanpassning

Strategier:

Minska modellstorleken eller lägg till ett dropout-lager
Använd viktreglering för att hålla parametrarna små
Hämta ny data eller utöka befintlig data

"Regularisering" med ett dropout-lager

Nollställer slumpmässigt element i indatatensorn under träning

model = nn.Sequential(nn.Linear(8, 4),
                      nn.ReLU(),
                      nn.Dropout(p=0.5))
features = torch.randn((1, 8))
print(model(features))

tensor([[1.4655, 0.0000, 0.0000, 0.8456]], grad_fn=<MulBackward0>)

Dropout läggs till efter aktiveringsfunktionen
Beter sig olika under träning och utvärdering – använd model.train() för träning och model.eval() för att inaktivera dropout under utvärdering

Regularisering med viktreglering

optimizer = optim.SGD(model.parameters(), lr=0.001, weight_decay=0.0001)

Styrs av parametern weight_decay i optimeraren – sätts vanligtvis till ett litet värde (t.ex. 0.0001)
Viktreglering uppmuntrar mindre vikter genom att lägga till en straffterm under optimering
Minskar överanpassning genom att hålla vikterna små och förbättra generaliseringen

Dataaugmentering

exempel på dataaugmentering

Nu kör vi en övning!

Introduktion till djupinlärning med PyTorch