Modération de contenu

Systèmes multimodaux avec l’API OpenAI

James Chapman

Curriculum Manager, DataCamp

Modération

Identifier les contenus inappropriés

Traditionnellement,

Les modérateurs signalent le contenu à la main
- ❌ Prend du temps
Appariement par mots-clés
- ❌ Manque de nuance et de compréhension du contexte

Icônes de bulles représentant du contenu malveillant.

Catégories de violation

Identifier les violations des conditions d'utilisation
Distinguer les types de violation par catégorie
- Violence
- Discours haineux

Icônes de bulles représentant du contenu malveillant.

¹ https://openai.com/policies/usage-policies ² https://platform.openai.com/docs/guides/moderation/overview

Créer une requête de modération

from openai import OpenAI

client = OpenAI(api_key="ENTER API KEY")


response = client.moderations.create(

  input="I could kill for a hamburger."

)

Interpréter les résultats

categories
- Indicateur true/false d'une violation par catégorie
category_scores
- Confiance dans la détection d'une violation
flagged
- Indicateur true/false d'une violation

response.model_dump()

Sortie de la réponse

Interpréter les scores par catégorie

Extraction de category_scores depuis la réponse

Valeurs plus élevées → plus grande certitude de violation
Les nombres $\neq$ des probabilités

Interpréter les scores par catégorie

category_scores avec « violence » en surbrillance

Valeurs plus élevées → plus grande certitude de violation
Les nombres $\neq$ des probabilités

Points d'attention pour la mise en œuvre

CategoryScores(harassment=2.775943e-05,
               harassment_threatening=1.3526056e-06,
               hate=2.733528e-07,
               hate_threatening=4.930576e-08,
               ...,
               violence=0.0500854030251503,
               ...)

Ajuster les seuils selon l'usage
Des seuils plus stricts réduisent les faux négatifs
Des seuils plus souples réduisent les faux positifs

Passons à la pratique !

Systèmes multimodaux avec l’API OpenAI