Moderarea conținutului

Sisteme multi-modale cu API-ul OpenAI

James Chapman

Curriculum Manager, DataCamp

Moderare

Identificarea conținutului inadecvat

Tradițional,

Moderatorii semnalează conținutul manual
- ❌ Consumă mult timp
Potrivire de șabloane de cuvinte-cheie
- ❌ Lipsesc nuanța și înțelegerea contextului

Pictograme de mesaje reprezentând conținut malițios.

Categorii de încălcări

Identificarea încălcărilor termenilor de utilizare
Diferențierea tipului de încălcare pe categorii
- Violență
- Discurs de ură

Pictograme de mesaje reprezentând conținut malițios.

¹ https://openai.com/policies/usage-policies ² https://platform.openai.com/docs/guides/moderation/overview

Crearea unei cereri de moderare

from openai import OpenAI

client = OpenAI(api_key="ENTER API KEY")


response = client.moderations.create(

  input="I could kill for a hamburger."

)

Interpretarea rezultatelor

categories
- Indicator true/false pentru încălcarea categoriei
category_scores
- Gradul de certitudine al unei încălcări
flagged
- Indicator true/false pentru o încălcare

response.model_dump()

Rezultatul răspunsului

Interpretarea scorurilor de categorie

Extragerea category_scores din răspuns

Valori mai mari → certitudine mai mare a încălcării
Valorile $\neq$ probabilități

Interpretarea scorurilor de categorie

category_scores cu violența evidențiată

Valori mai mari → certitudine mai mare a încălcării
Valorile $\neq$ probabilități

Considerații pentru implementarea moderării

CategoryScores(harassment=2.775943e-05,
               harassment_threatening=1.3526056e-06,
               hate=2.733528e-07,
               hate_threatening=4.930576e-08,
               ...,
               violence=0.0500854030251503,
               ...)

Ajustați pragurile pentru fiecare caz de utilizare
Praguri mai stricte pot reduce falsele negative
Praguri mai permisive pot reduce falsele pozitive

Să exersăm!

Sisteme multi-modale cu API-ul OpenAI