İçerik denetimi

OpenAI API ile Çok Modlu Sistemler

James Chapman

Curriculum Manager, DataCamp

Denetim

Uygunsuz içeriği belirleme

Geleneksel olarak,

Moderatörler içeriği elle işaretler
- ❌ Zaman alıcı
Anahtar kelime eşleştirme
- ❌ İncelik ve bağlam anlayışı yok

Kötü niyetli içeriği gösteren konuşma simgeleri.

İhlal kategorileri

Kullanım koşulu ihlallerini belirleyin
İhlal türünü kategoriye göre ayırın
- Şiddet
- Nefret söylemi

Kötü niyetli içeriği gösteren konuşma simgeleri.

¹ https://openai.com/policies/usage-policies ² https://platform.openai.com/docs/guides/moderation/overview

Denetim isteği oluşturma

from openai import OpenAI

client = OpenAI(api_key="ENTER API KEY")


response = client.moderations.create(

  input="I could kill for a hamburger."

)

Sonuçları yorumlama

categories
- Kategori ihlali için true/false göstergesi
category_scores
- İhlal güveni
flagged
- İhlal için true/false göstergesi

response.model_dump()

Yanıt çıktısı

Kategori puanlarını yorumlama

Yanıttan category_scores çıkarma

Daha büyük sayılar → ihlalden daha yüksek eminlik
Sayılar olasılık değildir

Kategori puanlarını yorumlama

Şiddet vurgulu category_scores

Daha büyük sayılar → ihlalden daha yüksek eminlik
Sayılar olasılık değildir

Denetimi uygulama için dikkat edilmesi gerekenler

CategoryScores(harassment=2.775943e-05,
               harassment_threatening=1.3526056e-06,
               hate=2.733528e-07,
               hate_threatening=4.930576e-08,
               ...,
               violence=0.0500854030251503,
               ...)

Eşikleri kullanım durumuna göre ayarlayın
Daha sıkı eşikler daha az yanlış negatif getirebilir
Daha esnek eşikler daha az yanlış pozitif getirebilir

Hadi pratik yapalım!

OpenAI API ile Çok Modlu Sistemler