ReLU activation functions

PyTorch के साथ Deep Learning परिचय

Jasmin Ludolf

Senior Data Science Content Developer, DataCamp

Sigmoid और Softmax फंक्शन

$$

  • SIGMOID for BINARY classification

सिग्मॉइड फंक्शन वाला न्यूरल नेटवर्क

$$

  • SOFTMAX for MULTI-CLASS classification

सॉफ्टमैक्स फंक्शन वाला न्यूरल नेटवर्क

PyTorch के साथ Deep Learning परिचय

Sigmoid और Softmax की सीमाएँ

Sigmoid फंक्शन:

  • आउटपुट 0 और 1 के बीच सीमित
  • नेटवर्क में कहीं भी उपयोगी

Gradients:

  • x के बड़े और छोटे मानों पर बहुत छोटे
  • saturation कर सकते हैं, जिससे vanishing gradients problem होती है

$$

Softmax फंक्शन भी saturation से प्रभावित होता है

सिग्मॉइड फंक्शन

PyTorch के साथ Deep Learning परिचय

ReLU

Rectified Linear Unit (ReLU):

  • f(x) = max(x, 0)
  • Positive इनपुट पर: आउटपुट = इनपुट
  • Negative इनपुट पर: आउटपुट 0
  • vanishing gradients से निपटने में मदद करता है

$$

PyTorch में:

relu = nn.ReLU()

ReLU फंक्शन

PyTorch के साथ Deep Learning परिचय

Leaky ReLU

Leaky ReLU:

  • Positive इनपुट ReLU जैसे ही
  • Negative इनपुट छोटे गुणांक से स्केल होते हैं (डिफॉल्ट 0.01)
  • Negative इनपुट के gradients non-zero रहते हैं

$$

PyTorch में:

leaky_relu = nn.LeakyReLU(
  negative_slope = 0.05)

Leaky ReLU

PyTorch के साथ Deep Learning परिचय

अभ्यास करते हैं!

PyTorch के साथ Deep Learning परिचय

Preparing Video For Download...