एक्टिवेशन फंक्शन्स की समझ

PyTorch के साथ Deep Learning परिचय

Jasmin Ludolf

Senior Data Science Content Developer, DataCamp

एक्टिवेशन फंक्शन्स

$$

  • Activation functions नेटवर्क में non-linearity जोड़ते हैं
    • बाइनरी क्लासिफिकेशन के लिए Sigmoid
    • मल्टी-क्लास क्लासिफिकेशन के लिए Softmax
  • non-linearity से नेटवर्क complex संबंध सीख सकता है
  • "Pre-activation" आउटपुट एक्टिवेशन फंक्शन को दिया जाता है

लिनियर लेयर्स और एक एक्टिवेशन फंक्शन वाला न्यूरल नेटवर्क का डायग्राम

PyTorch के साथ Deep Learning परिचय

Sigmoid फंक्शन से मिलिए

इनपुट, लिनियर लेयर्स, और एक्टिवेशन फंक्शन वाला न्यूरल नेटवर्क का हिस्सा

  • स्तनपायी है या नहीं?

एक लीमर का चित्रण

PyTorch के साथ Deep Learning परिचय

Sigmoid फंक्शन से मिलिए

इनपुट और लिनियर लेयर्स वाला न्यूरल नेटवर्क का हिस्सा

  • स्तनपायी है या नहीं?

एक लीमर का चित्रण

  • इनपुट:
    • पैर: 4
    • अंडे: 0
    • बाल: 1
PyTorch के साथ Deep Learning परिचय

Sigmoid फंक्शन से मिलिए

इनपुट और लिनियर लेयर्स को आउटपुट 6 वाला न्यूरल नेटवर्क का हिस्सा

  • स्तनपायी है या नहीं?

एक लीमर का चित्रण

  • लिनियर लेयर्स का आउटपुट 6 है
PyTorch के साथ Deep Learning परिचय

Sigmoid फंक्शन से मिलिए

इनपुट, लिनियर लेयर्स को आउटपुट 6, और एक sigmoid एक्टिवेशन फंक्शन वाला नेटवर्क हिस्सा

  • स्तनपायी है या नहीं?

एक लीमर का चित्रण

  • हम pre-activation आउटपुट (6) को sigmoid फंक्शन में पास करते हैं
PyTorch के साथ Deep Learning परिचय

Sigmoid फंक्शन से मिलिए

इनपुट, लिनियर लेयर्स को आउटपुट 6, एक sigmoid एक्टिवेशन फंक्शन, और एक आउटपुट वाला नेटवर्क हिस्सा

  • स्तनपायी है या नहीं?

एक लीमर का चित्रण

  • हम pre-activation आउटपुट (6) को sigmoid फंक्शन में पास करते हैं

  • 0 और 1 के बीच मान मिलता है

  • यदि आउटपुट > 0.5, class label = 1 (मेमल)

  • यदि आउटपुट <= 0.5, class label = 0 (मेमल नहीं)
PyTorch के साथ Deep Learning परिचय

Sigmoid फंक्शन से मिलिए

import torch
import torch.nn as nn

input_tensor = torch.tensor([[6]])
sigmoid = nn.Sigmoid()

output = sigmoid(input_tensor)
print(output)

tensor([[0.9975]])
PyTorch के साथ Deep Learning परिचय

आखिरी लेयर के रूप में एक्टिवेशन

model = nn.Sequential(
  nn.Linear(6, 4), # First linear layer
  nn.Linear(4, 1), # Second linear layer
  nn.Sigmoid() # Sigmoid activation function
)

लिनियर लेयर्स वाले नेटवर्क में आखिरी स्टेप पर Sigmoid पारंपरिक logistic regression के equivalent होता है

PyTorch के साथ Deep Learning परिचय

Softmax से परिचय

  • तीन क्लास:
PyTorch के साथ Deep Learning परिचय

Softmax से परिचय

  • तीन क्लास:

"bird" विकल्प के साथ एक लीमर

PyTorch के साथ Deep Learning परिचय

Softmax से परिचय

  • तीन क्लास:

"bird" और mammal विकल्पों वाला एक लीमर

PyTorch के साथ Deep Learning परिचय

Softmax से परिचय

  • तीन क्लास:

तीन विकल्पों वाला लीमर: bird, mammal, या reptile

PyTorch के साथ Deep Learning परिचय

Softmax से परिचय

इनपुट्स वाला न्यूरल नेटवर्क का हिस्सा

  • तीन-डायमेंशनल इनपुट लेता है और वही शेप आउटपुट करता है
PyTorch के साथ Deep Learning परिचय

Softmax से परिचय

इनपुट, लिनियर लेयर्स को एक वेक्टर आउटपुट, softmax एक्टिवेशन, और आउटपुट वाला नेटवर्क हिस्सा

  • तीन-डायमेंशनल इनपुट लेता है और वही शेप आउटपुट करता है
  • एक probability distribution देता है:
    • हर एलिमेंट एक probability है (0 और 1 के बीच सीमित)
    • आउटपुट वेक्टर का योग 1 होता है
PyTorch के साथ Deep Learning परिचय

Softmax से परिचय

इनपुट, लिनियर लेयर्स को एक वेक्टर आउटपुट, softmax एक्टिवेशन, और आउटपुट वाला नेटवर्क हिस्सा

  • तीन-डायमेंशनल इनपुट लेता है और वही शेप आउटपुट करता है
  • एक probability distribution देता है:
    • हर एलिमेंट एक probability है (0 और 1 के बीच सीमित)
    • आउटपुट वेक्टर का योग 1 होता है
PyTorch के साथ Deep Learning परिचय

Softmax से परिचय

import torch
import torch.nn as nn

# Create an input tensor
input_tensor = torch.tensor(
    [[4.3, 6.1, 2.3]])

# Apply softmax along the last dimension

probabilities = nn.Softmax(dim=-1)
output_tensor = probabilities(input_tensor)
print(output_tensor)

tensor([[0.1392, 0.8420, 0.0188]])
  • dim = -1 दर्शाता है कि softmax इनपुट टेन्सर के आखिरी डायमेंशन पर लागू है
  • nn.Softmax() को nn.Sequential() में आखिरी स्टेप के रूप में इस्तेमाल कर सकते हैं
PyTorch के साथ Deep Learning परिचय

अभ्यास करते हैं!

PyTorch के साथ Deep Learning परिचय

Preparing Video For Download...