콘텐츠 검토

OpenAI API로 만드는 멀티모달 시스템

James Chapman

Curriculum Manager, DataCamp

검토(Moderation)

부적절한 콘텐츠 식별

전통적으로,

모더레이터가 수동으로 표기
- ❌ 시간 소모 큼
키워드 패턴 매칭
- ❌ 맥락과 뉘앙스 부족

악의적 콘텐츠를 나타내는 말풍선 아이콘.

위반 카테고리

이용 약관 위반 식별
카테고리별 위반 유형 구분
- 폭력
- 증오 발언

악의적 콘텐츠를 나타내는 말풍선 아이콘.

¹ https://openai.com/policies/usage-policies ² https://platform.openai.com/docs/guides/moderation/overview

Moderations 요청 생성

from openai import OpenAI

client = OpenAI(api_key="ENTER API KEY")


response = client.moderations.create(

  input="I could kill for a hamburger."

)

결과 해석

categories
- 카테고리 위반 여부 true/false
category_scores
- 위반 신뢰도
flagged
- 위반 여부 true/false

response.model_dump()

응답 출력

카테고리 점수 해석

응답에서 category_scores 추출

수치가 클수록 위반 확신도 ↑
수치는 확률이 아님

카테고리 점수 해석

폭력 항목이 강조된 category_scores

수치가 클수록 위반 확신도 ↑
수치는 확률이 아님

검토 구현 시 고려사항

CategoryScores(harassment=2.775943e-05,
               harassment_threatening=1.3526056e-06,
               hate=2.733528e-07,
               hate_threatening=4.930576e-08,
               ...,
               violence=0.0500854030251503,
               ...)

용도별 임계값 조정
더 엄격하면 거짓 음성 감소 가능
더 관대하면 거짓 양성 감소 가능

실습해 봅시다!

OpenAI API로 만드는 멀티모달 시스템