Contentmoderatie

Multimodale systemen met de OpenAI API

James Chapman

Curriculum Manager, DataCamp

Moderatie

Ongepaste content herkennen

Traditioneel

Moderators markeren content handmatig
- ❌ Tijdrovend
Keyword pattern matching
- ❌ Mist nuance en contextbegrip

Pictogrammen van spraakballonnen met kwaadaardige inhoud.

Categoriën van overtredingen

Overtredingen van voorwaarden of gebruik opsporen
Type overtreding per categorie onderscheiden
- Geweld
- Haatzaaien

Pictogrammen van spraakballonnen met kwaadaardige inhoud.

¹ https://openai.com/policies/usage-policies ² https://platform.openai.com/docs/guides/moderation/overview

Een moderatieverzoek maken

from openai import OpenAI

client = OpenAI(api_key="ENTER API KEY")


response = client.moderations.create(

  input="I could kill for a hamburger."

)

Resultaten interpreteren

categories
- true/false-indicator van categorische overtreding
category_scores
- Zekerheid van een overtreding
flagged
- true/false-indicator van een overtreding

response.model_dump()

Response-uitvoer

Category scores interpreteren

De category_scores uit de response halen

Hogere waarden → meer zekerheid op overtreding
Waarden ≠ kansen

Category scores interpreteren

category_scores met geweld gemarkeerd

Hogere waarden → meer zekerheid op overtreding
Waarden ≠ kansen

Overwegingen bij implementatie van moderatie

CategoryScores(harassment=2.775943e-05,
               harassment_threatening=1.3526056e-06,
               hate=2.733528e-07,
               hate_threatening=4.930576e-08,
               ...,
               violence=0.0500854030251503,
               ...)

Stel drempels af per usecase
Strengere drempels → minder false negatives
Soepelere drempels → minder false positives

Laten we oefenen!

Multimodale systemen met de OpenAI API