मॉडल मूल्यांकन

जनरेटिव AI कॉन्सेप्ट्स

Daniel Tedesco

Data Lead, Google

आखिर मूल्यांकन क्यों?

मॉडल के प्रदर्शन और प्रभावशीलता का आकलन करें:

प्रगति मापें
कठोर मॉडल तुलना
मानव प्रदर्शन का बेंचमार्क

Generative AIs का मूल्यांकन

मात्रात्मक मेट्रिक्स

संख्याएँ, जो मात्रात्मक मेट्रिक्स दर्शाती हैं

Discriminative मॉडल के मूल्यांकन मेट्रिक्स
Generative मॉडल-विशिष्ट मेट्रिक्स

मानव-केंद्रित मेट्रिक्स

वार्तालाप बुलबुले, जो मानव-केंद्रित मेट्रिक्स दर्शाते हैं

मानव प्रदर्शन तुलना
बुद्धिमान मूल्यांकन

Discriminative मॉडल मूल्यांकन तकनीकें

स्पष्ट परिभाषित कार्यों पर प्रदर्शन मापें

Pros:

व्यापक रूप से स्वीकृत और समझने में आसान
गणना और तुलना करना आसान

Cons:

जनरेटेड कंटेंट की सब्जेक्टिव प्रकृति नहीं पकड़ते

डार्टबोर्ड, जिसमें तीर बुल्सआई के पास हैं.

Generative मॉडल-विशिष्ट मेट्रिक्स

विशिष्ट जनरेटिव कार्यों के लिए कस्टमाइज़्ड

Pros:

बारीक मानदंड, जैसे यथार्थवाद, विविधता, और नवीनता
कई प्रसिद्ध मेट्रिक्स

Cons:

कई सब्जेक्टिव तत्व नहीं पकड़ पाते
अक्सर जनरलाइज़ नहीं होते

गायों के चित्रण.

मानव प्रदर्शन तुलना

Pros:

मानव क्षमताओं के मुकाबले बेंचमार्क
व्यावहारिक उपयोगिता दिखाता है

Cons:

तुलना अक्सर अनुचित होती है

एक AI जो मानव से प्रतिस्पर्धा कर रहा है.

पुरस्कार-विजेता AIs

मानव प्रतियोगिताएँ

पुरस्कार विजेता AI-जनित कला, जिस पर नीला रिबन लगा है

मानव मानकीकृत परीक्षाएँ

एक चार्ट जो कई मानव मानकीकृत परीक्षाओं पर GPT-4 का प्रदर्शन दिखाता है. यह Uniform Bar Exam और GRE जैसी प्रसिद्ध परीक्षाओं में अधिकांश छात्रों से बेहतर है.

¹ https://twitter.com/colostatefair/status/1565486317839863809, OpenAI

गोल्ड स्टैंडर्ड

मानव या अन्य AIs द्वारा बुद्धिमान मूल्यांकन

Pros:

सब्जेक्टिव पहलुओं को पकड़ता है

Cons:

धीमा, महंगा, और मानकीकृत करना कठिन
मानव पक्षपात और अनियमितता से प्रभावित

ट्यूरिंग का क्लासिक टेस्ट

कंप्यूटर वैज्ञानिक Alan Turing द्वारा प्रस्तावित
मानव मूल्यांकक AI-जनित कंटेंट का निर्णय करता है
पास तब, जब मूल्यांकक AI और मानव में फर्क न कर सके
पर मानव व्यवहार हमेशा सही मानक नहीं होता

ट्यूरिंग टेस्ट सेटअप का चित्रण, जिसमें एक मानव मूल्यांकक, AI-जनित और मानव-जनित कंटेंट दिखाने वाली स्क्रीनें हैं, जो अलग करने की प्रक्रिया दर्शाती हैं.

अभ्यास करते हैं!

जनरेटिव AI कॉन्सेप्ट्स