लर्निंग रेट और मोमेंटम

PyTorch के साथ Deep Learning परिचय

Jasmin Ludolf

Senior Data Science Content Developer, DataCamp

SGD से वेट्स अपडेट करना

Stochastic Gradient Descent (SGD) optimizer

sgd = optim.SGD(model.parameters(), lr=0.01, momentum=0.95)

दो आर्ग्यूमेंट:
- learning rate: स्टेप साइज नियंत्रित करता है
- momentum: जड़ता जोड़ता है ताकि फँसे नहीं

उचित learning rate का उदाहरण

छोटे learning rate का उदाहरण

बहुत बड़े learning rate का उदाहरण

यह एक convex function है।

convex function का उदाहरण

यह एक non-convex function है।

non-convex function का उदाहरण

lr = 0.01 momentum = 0, 100 स्टेप के बाद न्यूनतम मिला: x = -1.23 और y = -0.14

local minimum में फँसने का उदाहरण

lr = 0.01 momentum = 0.9, after 100 steps minimum found for x = 0.92 and y = -2.04

an example of optimization with momentum

PyTorch के साथ Deep Learning परिचय