Backpropagation

Python में Deep Learning परिचय

Dan Becker

Data Scientist and contributor to Keras and TensorFlow libraries

Backpropagation

Backpropagation

Backpropagation

Backpropagation

• Gradient descent को सभी weights अपडेट करने देता है (सब weights के gradients लेकर)
• Calculus के chain rule से आता है
• प्रक्रिया समझना ज़रूरी है, पर आम तौर पर आप किसी लाइब्रेरी का इस्तेमाल करेंगे जो यह करती है

Backpropagation process

• हर weight के सापेक्ष loss function की slope का अनुमान लगाना
• Predictions और errors निकालने के लिए forward propagation करें

Backpropagation process

Backpropagation process

Backpropagation process

• एक बार में एक लेयर पीछे जाएँ
• किसी weight का gradient इनका गुणनफल होता है:
  1. उस weight में जाने वाले node का मान
  2. जिस node में जाता है, उसके सापेक्ष loss function की slope
  3. उसी node पर activation function की slope

ReLU Activation Function

Backpropagation process

• Node values के सापेक्ष loss function की slopes का भी हिसाब रखें
• किसी node की slope, उससे निकलने वाले सभी weights की slopes का योग होती है

अभ्यास करते हैं!

Python में Deep Learning परिचय