ग्रेडिएंट डीसेंट

Python में Deep Learning परिचय

Dan Becker

Data Scientist and contributor to Keras and TensorFlow libraries

ग्रेडिएंट डीसेंट

ग्रेडिएंट डीसेंट

ग्रेडिएंट डीसेंट

ग्रेडिएंट डीसेंट

ग्रेडिएंट डीसेंट

ग्रेडिएंट डीसेंट

ग्रेडिएंट डीसेंट

ग्रेडिएंट डीसेंट

ग्रेडिएंट डीसेंट

ग्रेडिएंट डीसेंट

ग्रेडिएंट डीसेंट

ग्रेडिएंट डीसेंट

• अगर ढाल positive हो:
  • ढाल के उल्टा जाना मतलब छोटे मानों की ओर बढ़ना
  • वर्तमान मान से ढाल घटाएँ
  • बहुत बड़ा स्टेप हमें भटका सकता है
• समाधान: learning rate
  • हर weight को अपडेट करें: learning rate * ढाल घटाएँ

ढाल निकालने का उदाहरण

• किसी weight की ढाल निकालने के लिए गुणा करें:
  • loss फंक्शन की ढाल, उस node के मान के सापेक्ष जिसमें हम feed करते हैं
  • उस node का मान जो हमारे weight में feed होता है
  • activation फंक्शन की ढाल, उस मान के सापेक्ष जिसे हम feed करते हैं

ढाल निकालने का उदाहरण

• किसी weight की ढाल निकालने के लिए गुणा करें:
  • loss फंक्शन की ढाल, उस node के मान के सापेक्ष जिसमें हम feed करते हैं
  • उस node का मान जो हमारे weight में feed होता है
  • activation फंक्शन की ढाल, उस मान के सापेक्ष जिसे हम feed करते हैं

ढाल निकालने का उदाहरण

• mean-squared loss फंक्शन की ढाल, prediction के सापेक्ष:
  • 2 (Predicted Value - Actual Value) = 2 Error
  • 2 * -4

ढाल निकालने का उदाहरण

• किसी weight की ढाल निकालने के लिए गुणा करें:
  • loss फंक्शन की ढाल, उस node के मान के सापेक्ष जिसमें हम feed करते हैं
  • उस node का मान जो हमारे weight में feed होता है
  • activation फंक्शन की ढाल, उस मान के सापेक्ष जिसे हम feed करते हैं

ढाल निकालने का उदाहरण

• किसी weight की ढाल निकालने के लिए गुणा करें:
  • loss फंक्शन की ढाल, उस node के मान के सापेक्ष जिसमें हम feed करते हैं
  • उस node का मान जो हमारे weight में feed होता है
  • activation फंक्शन की ढाल, उस मान के सापेक्ष जिसे हम feed करते हैं

ढाल निकालने का उदाहरण

• किसी weight की ढाल निकालने के लिए गुणा करें:
  • loss फंक्शन की ढाल, उस node के मान के सापेक्ष जिसमें हम feed करते हैं
  • उस node का मान जो हमारे weight में feed होता है
  • activation फंक्शन की ढाल, उस मान के सापेक्ष जिसे हम feed करते हैं

ढाल निकालने का उदाहरण

• किसी weight की ढाल निकालने के लिए गुणा करें:
  • loss फंक्शन की ढाल, उस node के मान के सापेक्ष जिसमें हम feed करते हैं
  • उस node का मान जो हमारे weight में feed होता है
  • activation फंक्शन की ढाल, उस मान के सापेक्ष जिसे हम feed करते हैं

ढाल निकालने का उदाहरण

• 2 * -4 * 3
• -24
• अगर learning rate 0.01 हो, नया weight होगा
• 2 - 0.01(-24) = 2.24

दो इनपुट वाला नेटवर्क जो prediction को प्रभावित करता है

ढाल गिनने और weights अपडेट करने का कोड

import numpy as np
weights = np.array([1, 2])
input_data = np.array([3, 4])
target = 6
learning_rate = 0.01
preds = (weights * input_data).sum()
error = preds - target

print(error)

5

ढाल गिनने और weights अपडेट करने का कोड

gradient = 2 * input_data * error

gradient

array([30, 40])

weights_updated = weights - learning_rate * gradient
preds_updated = (weights_updated * input_data).sum()
error_updated = preds_updated - target

print(error_updated)

2.5

अभ्यास करते हैं!

Python में Deep Learning परिचय