內容審核

使用 OpenAI API 的多模態系統

James Chapman

Curriculum Manager, DataCamp

審核

 

  • 辨識不當內容

 

傳統上，

  • 版主以人工標記內容
    • ❌ 耗時
  • 關鍵字樣式比對
    • ❌ 缺乏語意與情境理解

描繪惡意內容的對話圖示。

使用 OpenAI API 的多模態系統

違規類別

 

  • 辨識違反使用條款者
  • 依類別區分違規型態
    • 暴力
    • 仇恨言論

描繪惡意內容的對話圖示。

1 https://openai.com/policies/usage-policies 2 https://platform.openai.com/docs/guides/moderation/overview
使用 OpenAI API 的多模態系統

建立審核請求

from openai import OpenAI

client = OpenAI(api_key="ENTER API KEY")


response = client.moderations.create(

  input="I could kill for a hamburger."

)
使用 OpenAI API 的多模態系統

解讀結果

 

  • categories
    • 顯示各類別是否違規的 true/false 指標
  • category_scores
    • 違規的信心分數
  • flagged
    • 是否判定為違規的 true/false 指標

response.model_dump()

回應輸出

使用 OpenAI API 的多模態系統

解讀類別分數

從回應中擷取 category_scores

  • 數值越大 → 違規確信越高
  • 這些數值 $\neq$ 機率
使用 OpenAI API 的多模態系統

解讀類別分數

凸顯暴力的 category_scores

  • 數值越大 → 違規確信越高
  • 這些數值 $\neq$ 機率
使用 OpenAI API 的多模態系統

實作審核的考量

CategoryScores(harassment=2.775943e-05,
               harassment_threatening=1.3526056e-06,
               hate=2.733528e-07,
               hate_threatening=4.930576e-08,
               ...,
               violence=0.0500854030251503,
               ...)
  • 依情境調整各類門檻
  • 門檻較嚴 → 可減少「假陰性」
  • 門檻較寬 → 可減少「假陽性」
使用 OpenAI API 的多模態系統

一起來練習吧！

使用 OpenAI API 的多模態系統

Preparing Video For Download...