コンテンツのモデレーション

OpenAI APIで学ぶマルチモーダルシステム

James Chapman

Curriculum Manager, DataCamp

モデレーション

不適切なコンテンツの特定

従来は、

モデレーターが手作業でフラグ付け
- ❌ 時間がかかる
キーワードパターンマッチ
- ❌ 文脈やニュアンスを理解できない

悪意あるコンテンツを示す吹き出しアイコン。

違反カテゴリ

利用規約違反の特定
カテゴリ別に違反タイプを判別
- 暴力
- ヘイトスピーチ

悪意あるコンテンツを示す吹き出しアイコン。

¹ https://openai.com/policies/usage-policies ² https://platform.openai.com/docs/guides/moderation/overview

モデレーションリクエストの作成

from openai import OpenAI

client = OpenAI(api_key="ENTER API KEY")


response = client.moderations.create(

  input="I could kill for a hamburger."

)

結果の読み取り方

categories
- 違反カテゴリの true/false 指標
category_scores
- 違反の確信度
flagged
- 違反の true/false 指標

response.model_dump()

レスポンス出力

category_scores の解釈

レスポンスから category_scores を抽出

数値が大きいほど → 違反の確信度が高い
数値は確率ではない

category_scores の解釈

violence が強調された category_scores

数値が大きいほど → 違反の確信度が高い
数値は確率ではない

モデレーション実装時の考慮点

CategoryScores(harassment=2.775943e-05,
               harassment_threatening=1.3526056e-06,
               hate=2.733528e-07,
               hate_threatening=4.930576e-08,
               ...,
               violence=0.0500854030251503,
               ...)

ユースケースごとにしきい値を調整
しきい値を厳しくすると偽陰性が減る可能性
しきい値を緩くすると偽陽性が減る可能性

¡Vamos a practicar!

OpenAI APIで学ぶマルチモーダルシステム