Modération du contenu

Systèmes multimodaux avec l'API d'OpenAI

James Chapman

Curriculum Manager, DataCamp

Modération

Repérer le contenu inapproprié

Traditionnellement,

Les modérateurs signalent le contenu à la main
- ❌ Long et laborieux
Repérage par mots-clés
- ❌ Manque de nuance et de compréhension du contexte

Icônes de bulles illustrant du contenu malveillant.

Catégories d'infraction

Repérer les infractions aux conditions d'utilisation
Distinguer le type d'infraction par catégorie
- Violence
- Propos haineux

Icônes de bulles illustrant du contenu malveillant.

¹ https://openai.com/policies/usage-policies ² https://platform.openai.com/docs/guides/moderation/overview

Créer une requête de modération

from openai import OpenAI

client = OpenAI(api_key="ENTER API KEY")


response = client.moderations.create(

  input="I could kill for a hamburger."

)

Interpréter les résultats

categories
- Indicateur true/false d'infraction par catégorie
category_scores
- Degré de confiance d'une infraction
flagged
- Indicateur true/false d'infraction

response.model_dump()

Sortie de la réponse

Interpréter les scores de catégorie

Extraction de category_scores à partir de la réponse

Valeur plus grande → plus grande certitude d'infraction
Les nombres $\neq$ des probabilités

Interpréter les scores de catégorie

category_scores avec violence en surbrillance

Valeur plus grande → plus grande certitude d'infraction
Les nombres $\neq$ des probabilités

Points à considérer pour la mise en place de la modération

CategoryScores(harassment=2.775943e-05,
               harassment_threatening=1.3526056e-06,
               hate=2.733528e-07,
               hate_threatening=4.930576e-08,
               ...,
               violence=0.0500854030251503,
               ...)

Ajuster les seuils selon l'usage
Seuils plus stricts : moins de faux négatifs
Seuils plus souples : moins de faux positifs

Passons à la pratique !

Systèmes multimodaux avec l'API d'OpenAI