टेक्स्ट क्लासिफिकेशन के लिए इवैल्यूएशन मेट्रिक्स

PyTorch के साथ टेक्स्ट के लिए डीप लर्निंग

Shubham Jain

Instructor

इवैल्यूएशन मेट्रिक्स क्यों मायने रखते हैं

बुक रिव्यू पर फोकस:

सोचिए, एक मॉडल बुक रिव्यू का सेंटिमेंट आंके
मॉडल कहता है कि एक बेस्टसेलर को खराब रिव्यू मिले. क्या आप मानेंगे?
इवैल्यूएशन मेट्रिक्स का उपयोग करें

Book review

RNN मॉडलों का मूल्यांकन

# Initialize model, criterion, and optimizer
rnn_model = RNNModel(input_size, hidden_size, num_layers, num_classes)
...
# Model training
for epoch in range(10): 
    outputs = rnn_model(X_train)
    ...
    print(f'Epoch: {epoch+1}, Loss: {loss.item()}')


outputs = rnn_model(X_test) 
_, predicted = torch.max(outputs, 1)

एक्यूरसी

सही प्रेडिक्शन का कुल प्रेडिक्शन से अनुपात

from torchmetrics import Accuracy

actual = torch.tensor([0, 1, 1, 0, 1, 0])
predicted = torch.tensor([0, 0, 1, 0, 1, 1])

accuracy = Accuracy(task="binary", num_classes=2)

acc = accuracy(predicted, actual)
print(f"Accuracy: {acc}")

Accuracy: 0.6666666666666666

एक्यूरसी से आगे

10,000 रिव्यू: 9,800 पॉज़िटिव
- एक मॉडल जो हमेशा पॉज़िटिव प्रेडिक्ट करे: 98% एक्यूरसी
  - मॉडल ने नेगेटिव रिव्यू क्लासिफाई नहीं किए

Precision: किसी रिव्यू को नेगेटिव लेबल करने में भरोसा
Recall: मॉडल ने नेगेटिव रिव्यू कितने पकड़े
F1 Score: प्रिसीजन और रिकॉल का संतुलन

Precision और Recall

Precision: सही पॉज़िटिव प्रेडिक्शन / कुल प्रेडिक्टेड पॉज़िटिव
Recall: सही पॉज़िटिव प्रेडिक्शन / पॉज़िटिव क्लास के कुल ऑब्जर्वेशन

from torchmetrics import Precision, Recall

precision = Precision(task="binary", num_classes=2)
recall = Recall(task="binary", num_classes=2)

prec = precision(predicted, actual)
rec = recall(predicted, actual)

print(f"Precision: {prec}")
print(f"Recall: {rec}")

Precision: 0.6666666666666666
Recall: 0.5

Precision और Recall

Precision: 0.6666666666666666
Recall: 0.5

Precision: 66.66% सही तरीके से पॉज़िटिव बताया
Recall: 50% पॉज़िटिव पकड़े

F1 स्कोर

प्रिसीजन और रिकॉल में तालमेल बिठाता है
असंतुलित क्लास के लिए बेहतर माप

from torchmetrics import F1Score
f1 = F1Score(task="binary", num_classes=2)
f1_score = f1(predicted, actual)
print(f"F1 Score: {f1_score}")

F1 Score: 0.5714285714285715

F1 Score 1 = परफेक्ट प्रिसीजन और रिकॉल
F1 Score 0 = सबसे खराब प्रदर्शन

ध्यान रखने योग्य बातें

मल्टीक्लास स्कोर एक जैसे हो सकते हैं
- यह अच्छा मॉडल प्रदर्शन दिखा सकता है
नतीजों की व्याख्या करते समय हमेशा समस्या संदर्भ देखें!

अभ्यास करते हैं!

PyTorch के साथ टेक्स्ट के लिए डीप लर्निंग