कंटेंट मॉडरेशन

OpenAI API के साथ मल्टी-मॉडल सिस्टम

James Chapman

Curriculum Manager, DataCamp

मॉडरेशन

अनुचित कंटेंट की पहचान

परंपरागत रूप से,

मॉडरेटर कंटेंट को हाथ से फ्लैग करते हैं
- ❌ समय-खपत
कीवर्ड पैटर्न मैचिंग
- ❌ संदर्भ और बारीकियाँ समझने में कमी

दुर्व्यवहारयुक्त कंटेंट दिखाते स्पीच आइकन.

उल्लंघन की श्रेणियाँ

टर्म्स या उपयोग उल्लंघन पहचानें
श्रेणी के अनुसार उल्लंघन प्रकार अलग करें
- हिंसा
- घृणा-भाषण

दुर्व्यवहारयुक्त कंटेंट दिखाते स्पीच आइकन.

¹ https://openai.com/policies/usage-policies ² https://platform.openai.com/docs/guides/moderation/overview

Moderations रिक्वेस्ट बनाना

from openai import OpenAI

client = OpenAI(api_key="ENTER API KEY")


response = client.moderations.create(

  input="I could kill for a hamburger."

)

परिणाम समझना

categories
- श्रेणी-उल्लंघन का true/false संकेतक
category_scores
- उल्लंघन की विश्वसनीयता
flagged
- उल्लंघन का true/false संकेतक

response.model_dump()

रेस्पॉन्स आउटपुट

कैटेगरी स्कोर समझना

रेस्पॉन्स से category_scores निकालना

बड़े नंबर → उल्लंघन पर अधिक निश्चितता
नंबर $\neq$ प्रायिकताएँ नहीं हैं

कैटेगरी स्कोर समझना

violence हाइलाइट के साथ category_scores

बड़े नंबर → उल्लंघन पर अधिक निश्चितता
नंबर $\neq$ प्रायिकताएँ नहीं हैं

मॉडरेशन लागू करते समय विचार

CategoryScores(harassment=2.775943e-05,
               harassment_threatening=1.3526056e-06,
               hate=2.733528e-07,
               hate_threatening=4.930576e-08,
               ...,
               violence=0.0500854030251503,
               ...)

हर उपयोग-केस के लिए थ्रेशहोल्ड ट्यून करें
सख्त थ्रेशहोल्ड से false negatives कम हो सकते हैं
ढीले थ्रेशहोल्ड से false positives कम हो सकते हैं

अभ्यास करते हैं!

OpenAI API के साथ मल्टी-मॉडल सिस्टम