Модерація контенту

Мультимодальні системи з OpenAI API

James Chapman

Curriculum Manager, DataCamp

Модерація

Виявлення неприйнятного контенту

Традиційно,

Модератори позначають контент вручну
- ❌ Займає багато часу
Пошук за ключовими словами
- ❌ Бракує нюансів і розуміння контексту

Піктограми мовлення, що зображують шкідливий контент.

Категорії порушень

Виявляйте порушення умов використання
Розрізняйте тип порушення за категоріями
- Насильство
- Мова ворожнечі

Піктограми мовлення, що зображують шкідливий контент.

¹ https://openai.com/policies/usage-policies ² https://platform.openai.com/docs/guides/moderation/overview

Створення запиту на модерацію

from openai import OpenAI

client = OpenAI(api_key="ENTER API KEY")


response = client.moderations.create(

  input="I could kill for a hamburger."

)

Інтерпретація результатів

categories
- індикатор true/false наявності порушення за категорією
category_scores
- рівень упевненості в порушенні
flagged
- індикатор true/false наявності порушення

response.model_dump()

Результат відповіді

Тлумачення оцінок категорій

Отримання category_scores з відповіді

Більші значення → вища впевненість у порушенні
Числа $\neq$ імовірності

Тлумачення оцінок категорій

category_scores з підсвіченим violence

Більші значення → вища впевненість у порушенні
Числа $\neq$ імовірності

Що врахувати під час впровадження модерації

CategoryScores(harassment=2.775943e-05,
               harassment_threatening=1.3526056e-06,
               hate=2.733528e-07,
               hate_threatening=4.930576e-08,
               ...,
               violence=0.0500854030251503,
               ...)

Налаштовуйте пороги під ваш кейс
Жорсткіші пороги зменшують кількість хибнонегативних
М'якші пороги зменшують кількість хибнопозитивних

Давайте потренуємось!

Мультимодальні системи з OpenAI API