Kiểm duyệt nội dung

Hệ thống đa phương thức với OpenAI API

James Chapman

Curriculum Manager, DataCamp

Kiểm duyệt

Nhận diện nội dung không phù hợp

Theo cách truyền thống,

Người kiểm duyệt gắn cờ thủ công
- ✖ Tốn thời gian
Khớp mẫu từ khóa
- ✖ Thiếu sắc thái và hiểu ngữ cảnh

Biểu tượng hội thoại thể hiện nội dung độc hại.

Danh mục vi phạm

Xác định vi phạm điều khoản/sử dụng
Phân loại kiểu vi phạm theo danh mục
- Bạo lực
- Ngôn từ thù ghét

Biểu tượng hội thoại thể hiện nội dung độc hại.

¹ https://openai.com/policies/usage-policies ² https://platform.openai.com/docs/guides/moderation/overview

Tạo yêu cầu moderations

from openai import OpenAI

client = OpenAI(api_key="ENTER API KEY")


response = client.moderations.create(

  input="I could kill for a hamburger."

)

Diễn giải kết quả

categories
- Chỉ báo true/false vi phạm theo danh mục
category_scores
- Mức độ tin cậy về vi phạm
flagged
- Chỉ báo true/false có vi phạm

response.model_dump()

Kết quả phản hồi

Diễn giải điểm theo danh mục

Trích xuất category_scores từ phản hồi

Số lớn hơn → chắc chắn vi phạm hơn
Các số ≠ xác suất

Diễn giải điểm theo danh mục

category_scores với violence được tô sáng

Số lớn hơn → chắc chắn vi phạm hơn
Các số ≠ xác suất

Lưu ý khi triển khai kiểm duyệt

CategoryScores(harassment=2.775943e-05,
               harassment_threatening=1.3526056e-06,
               hate=2.733528e-07,
               hate_threatening=4.930576e-08,
               ...,
               violence=0.0500854030251503,
               ...)

Điều chỉnh ngưỡng theo từng bài toán
Ngưỡng nghiêm ngặt giảm âm tính giả
Ngưỡng thoáng hơn giảm dương tính giả

Ayo berlatih!

Hệ thống đa phương thức với OpenAI API