Moderacja treści

Systemy multimodalne z OpenAI API

James Chapman

Curriculum Manager, DataCamp

Moderacja

Identyfikowanie nieodpowiednich treści

Tradicyjnie,

Moderatorzy oznaczają treści ręcznie
- ❌ Czasochłonne
Dopasowywanie wzorców słów kluczowych
- ❌ Brak niuansów i rozumienia kontekstu

Ikony wiadomości przedstawiające złośliwe treści.

Kategorie naruszeń

Wykrywanie naruszeń warunków użytkowania
Rozróżnianie naruszeń według kategorii
- Przemoc
- Mowa nienawiści

Ikony wiadomości przedstawiające złośliwe treści.

¹ https://openai.com/policies/usage-policies ² https://platform.openai.com/docs/guides/moderation/overview

Tworzenie żądania moderacji

from openai import OpenAI

client = OpenAI(api_key="ENTER API KEY")


response = client.moderations.create(

  input="I could kill for a hamburger."

)

Interpretacja wyników

categories
- Wskaźnik true/false naruszenia kategorii
category_scores
- Pewność naruszenia
flagged
- Wskaźnik true/false naruszenia

response.model_dump()

Dane wyjściowe odpowiedzi

Interpretacja wyników kategorii

Wyodrębnianie category_scores z odpowiedzi

Większe wartości → większa pewność naruszenia
Wartości $\neq$ prawdopodobieństwa

Interpretacja wyników kategorii

category_scores z wyróżnioną przemocą

Większe wartości → większa pewność naruszenia
Wartości $\neq$ prawdopodobieństwa

Wdrażanie moderacji — kwestie do rozważenia

CategoryScores(harassment=2.775943e-05,
               harassment_threatening=1.3526056e-06,
               hate=2.733528e-07,
               hate_threatening=4.930576e-08,
               ...,
               violence=0.0500854030251503,
               ...)

Dostosuj progi dla każdego przypadku użycia
Niższe progi mogą zmniejszyć liczbę fałszywych negatywów
Wyższe progi mogą zmniejszyć liczbę fałszywych pozytywów

Czas na ćwiczenia!

Systemy multimodalne z OpenAI API