प्रैक्टिस में Backpropagation

Python में Deep Learning परिचय

Dan Becker

Data Scientist and contributor to Keras and TensorFlow libraries

Backpropagation

ch2_4_v2.002.png

Python में Deep Learning परिचय

Backpropagation

ch2_4_v2.003.png

Python में Deep Learning परिचय

Backpropagation

ch2_4_v2.004.png

Python में Deep Learning परिचय

Backpropagation

ch2_4_v2.010.png

Python में Deep Learning परिचय

किसी भी weight से जुड़ी slopes निकालना

  • किसी weight के gradients इनका गुणन होते हैं:
    1. उस weight में जाने वाले node का मान
    2. जिस node में feed हो रहा है, उसकी activation function की slope
    3. output node के सापेक्ष loss function की slope
Python में Deep Learning परिचय

Backpropagation

ch2_4_v2.016.png

Python में Deep Learning परिचय

Backpropagation

ch2_4_v2.017.png

Python में Deep Learning परिचय

Backpropagation

ch2_4_v2.018.png

Python में Deep Learning परिचय

Backpropagation

ch2_4_v2.019.png

Python में Deep Learning परिचय

Backpropagation

ch2_4_v2.020.png

Python में Deep Learning परिचय

Backpropagation

ch2_4_v2.021.png

Python में Deep Learning परिचय

Backpropagation: पुनरावलोकन

  • कुछ random weights से शुरुआत करें
  • prediction के लिए forward propagation चलाएँ
  • प्रत्येक weight के सापेक्ष loss function की slope backward propagation से निकालें
  • उस slope को learning rate से गुणा करें, और current weights से घटाएँ
  • यह चक्र तब तक दोहराएँ जब तक surface समतल न हो जाए
Python में Deep Learning परिचय

Stochastic gradient descent

  • अक्सर हम डेटा के केवल एक उपसमूह (एक batch) पर slopes निकालते हैं
  • अगला अपडेट निकालने के लिए अलग batch उपयोग करें
  • जब सारा डेटा हो जाए, फिर से शुरुआत करें
  • training डेटा से हर पूरा गुजरना एक epoch कहलाता है
  • जब एक बार में सिर्फ एक batch पर slopes निकाले जाएँ: stochastic gradient descent
Python में Deep Learning परिचय

अभ्यास करते हैं!

Python में Deep Learning परिचय

Preparing Video For Download...