मॉडल ऑप्टिमाइज़ेशन को समझना

Python में Deep Learning परिचय

Dan Becker

Data Scientist and contributor to Keras and TensorFlow libraries

ऑप्टिमाइज़ेशन कठिन क्यों है

  • जटिल संबंधों के साथ 1000s पैरामीटर एकसाथ ऑप्टिमाइज़ करना
  • अपडेट से मॉडल में अर्थपूर्ण सुधार न भी हो
  • अपडेट बहुत छोटे (यदि learning rate कम हो) या बहुत बड़े (यदि learning rate अधिक हो)
Python में Deep Learning परिचय

Stochastic gradient descent

def get_new_model(input_shape = input_shape):
    model = Sequential()
    model.add(Dense(100, activation='relu', input_shape = input_shape))
    model.add(Dense(100, activation='relu'))
    model.add(Dense(2, activation='softmax'))
    return(model)

lr_to_test = [.000001, 0.01, 1]

# Loop over learning rates
for lr in lr_to_test:
   model = get_new_model()
   my_optimizer = SGD(lr=lr)
   model.compile(optimizer = my_optimizer, loss = 'categorical_crossentropy')
   model.fit(predictors, target)
Python में Deep Learning परिचय

डाइंग न्यूरॉन समस्या

ch4_1.012.png

Python में Deep Learning परिचय

Vanishing gradients

ch4_1.014.png

Python में Deep Learning परिचय

Vanishing gradients

  • कई लेयर्स में ढलान बहुत छोटे हों तो होता है (जैसे tanh कर्व के सपाट भाग पर)
  • डीप नेटवर्क्स में, backprop के अपडेट 0 के क़रीब थे
Python में Deep Learning परिचय

अभ्यास करते हैं!

Python में Deep Learning परिचय

Preparing Video For Download...