Модерация контента

Мультимодальные системы с OpenAI API

James Chapman

Curriculum Manager, DataCamp

Модерация

Выявление неприемлемого контента

Традиционные подходы:

Модераторы проверяют контент вручную
- ❌ Требует много времени
Сопоставление по ключевым словам
- ❌ Не учитывает нюансы и контекст

Иконки речи, изображающие вредоносный контент.

Категории нарушений

Выявление нарушений правил использования
Классификация нарушений по категориям
- Насилие
- Язык вражды

Иконки речи, изображающие вредоносный контент.

¹ https://openai.com/policies/usage-policies ² https://platform.openai.com/docs/guides/moderation/overview

Создание запроса на модерацию

from openai import OpenAI

client = OpenAI(api_key="ENTER API KEY")


response = client.moderations.create(

  input="I could kill for a hamburger."

)

Интерпретация результатов

categories
- Индикатор нарушения категории: true/false
category_scores
- Уверенность в наличии нарушения
flagged
- Индикатор нарушения: true/false

response.model_dump()

Вывод ответа

Интерпретация оценок категорий

Извлечение category_scores из ответа

Большее значение → выше уверенность в нарушении
Значения $\neq$ вероятностям

Интерпретация оценок категорий

category_scores с выделенным полем violence

Большее значение → выше уверенность в нарушении
Значения $\neq$ вероятностям

Особенности реализации модерации

CategoryScores(harassment=2.775943e-05,
               harassment_threatening=1.3526056e-06,
               hate=2.733528e-07,
               hate_threatening=4.930576e-08,
               ...,
               violence=0.0500854030251503,
               ...)

Настройте пороги для каждого сценария использования
Более строгие пороги сокращают число ложноотрицательных результатов
Более мягкие пороги сокращают число ложноположительных результатов

Давайте потренируемся!

Мультимодальные системы с OpenAI API