Innehållsmoderering

Multimodala system med OpenAI API

James Chapman

Curriculum Manager, DataCamp

Moderering

Identifierar olämpligt innehåll

Traditionellt sett

Moderatorer flaggar innehåll manuellt
- ❌ Tidskrävande
Nyckelordsmatchning
- ❌ Saknar nyansering och förståelse för kontext

Pratbubblor som illustrerar skadligt innehåll.

Överträdelsekategorier

Identifiera brott mot användarvillkor
Klassificera typ av överträdelse
- Våld
- Hatpropaganda

Pratbubblor som illustrerar skadligt innehåll.

¹ https://openai.com/policies/usage-policies ² https://platform.openai.com/docs/guides/moderation/overview

Skapa en modereringsbegäran

from openai import OpenAI

client = OpenAI(api_key="ENTER API KEY")


response = client.moderations.create(

  input="I could kill for a hamburger."

)

Tolka resultaten

categories
- true/false-indikator för kategoriöverträdelse
category_scores
- Konfidens för en överträdelse
flagged
- true/false-indikator för en överträdelse

response.model_dump()

Svarsutdata

Tolka kategoriscorerna

Extraherar category_scores från svaret

Högre värden → större säkerhet på överträdelse
Värdena $\neq$ sannolikheter

Tolka kategoriscorerna

category_scores med våld markerat

Högre värden → större säkerhet på överträdelse
Värdena $\neq$ sannolikheter

Att tänka på vid implementering av moderering

CategoryScores(harassment=2.775943e-05,
               harassment_threatening=1.3526056e-06,
               hate=2.733528e-07,
               hate_threatening=4.930576e-08,
               ...,
               violence=0.0500854030251503,
               ...)

Anpassa tröskelvärden efter varje användningsfall
Striktare tröskelvärden kan minska falskt negativa resultat
Mer tillåtande tröskelvärden kan minska falskt positiva resultat

Nu kör vi en övning!

Multimodala system med OpenAI API