การกลั่นกรองเนื้อหา

ระบบ Multi-Modal ด้วย OpenAI API

James Chapman

Curriculum Manager, DataCamp

การกลั่นกรอง

การระบุเนื้อหาที่ไม่เหมาะสม

ในอดีต

ผู้กลั่นกรองตรวจสอบเนื้อหา ด้วยตนเอง
- ❌ ใช้เวลานาก
การจับคู่รูปแบบคำสำคัญ
- ❌ ขาด ความละเอียดอ่อน และความเข้าใจ บริบท

ไอคอนคำพูดที่แสดงถึงเนื้อหาอันตราย

หมวดหมู่การละเมิด

ระบุการละเมิดข้อกำหนดการใช้งาน
แยกประเภทการละเมิด
- ความรุนแรง
- คำพูดแสดงความเกลียดชัง

ไอคอนคำพูดที่แสดงถึงเนื้อหาอันตราย

¹ https://openai.com/policies/usage-policies ² https://platform.openai.com/docs/guides/moderation/overview

การสร้างคำขอ moderations

from openai import OpenAI

client = OpenAI(api_key="ENTER API KEY")


response = client.moderations.create(

  input="I could kill for a hamburger."

)

การแปลความหมายผลลัพธ์

categories
- ตัวบ่งชี้ true/false ของการละเมิดในแต่ละหมวดหมู่
category_scores
- ความมั่นใจของการละเมิด
flagged
- ตัวบ่งชี้ true/false ของการละเมิด

response.model_dump()

ผลลัพธ์ของ Response

การแปลความหมาย category scores

การดึง category_scores จาก response

ค่าที่มากขึ้น → ความแน่ใจในการละเมิดสูงขึ้น
ค่าตัวเลข $\neq$ ความน่าจะเป็น

การแปลความหมาย category scores

category_scores โดยเน้นที่ violence

ค่าที่มากขึ้น → ความแน่ใจในการละเมิดสูงขึ้น
ค่าตัวเลข $\neq$ ความน่าจะเป็น

ข้อควรพิจารณาในการนำการกลั่นกรองไปใช้

CategoryScores(harassment=2.775943e-05,
               harassment_threatening=1.3526056e-06,
               hate=2.733528e-07,
               hate_threatening=4.930576e-08,
               ...,
               violence=0.0500854030251503,
               ...)

ปรับ threshold ตามแต่ละกรณีใช้งาน
threshold ที่เข้มงวดขึ้นอาจลด false negatives
threshold ที่ผ่อนปรนขึ้นอาจลด false positives

มาฝึกกันเถอะ!

ระบบ Multi-Modal ด้วย OpenAI API