Moderování obsahu

Multimodální systémy s OpenAI API

James Chapman

Curriculum Manager, DataCamp

Moderování

Identifikace nevhodného obsahu

Tradiční přístupy:

Moderátoři označují obsah ručně
- ❌ Časově náročné
Porovnávání klíčových slov
- ❌ Chybí nuance a pochopení kontextu

Ikony bublin s nevhodným obsahem.

Kategorie porušení

Identifikace porušení podmínek použití
Rozlišení typu porušení podle kategorie
- Násilí
- Nenávistné projevy

Ikony bublin s nevhodným obsahem.

¹ https://openai.com/policies/usage-policies ² https://platform.openai.com/docs/guides/moderation/overview

Vytvoření požadavku na moderování

from openai import OpenAI

client = OpenAI(api_key="ENTER API KEY")


response = client.moderations.create(

  input="I could kill for a hamburger."

)

Interpretace výsledků

categories
- true/false indikátor porušení kategorie
category_scores
- Míra jistoty porušení
flagged
- true/false indikátor porušení

response.model_dump()

Výstup odpovědi

Interpretace skóre kategorií

Extrakce category_scores z odpovědi

Větší čísla → vyšší jistota porušení
Čísla $\neq$ pravděpodobnosti

Interpretace skóre kategorií

category_scores se zvýrazněným násilím

Větší čísla → vyšší jistota porušení
Čísla $\neq$ pravděpodobnosti

Aspekty implementace moderování

CategoryScores(harassment=2.775943e-05,
               harassment_threatening=1.3526056e-06,
               hate=2.733528e-07,
               hate_threatening=4.930576e-08,
               ...,
               violence=0.0500854030251503,
               ...)

Prahové hodnoty nastavte podle případu použití
Přísnější prahy mohou snížit počet falešně negativních výsledků
Mírnější prahy mohou snížit počet falešně pozitivních výsledků

Pojďme si procvičit!

Multimodální systémy s OpenAI API