Moderação de conteúdo

Sistemas Multimodais com a API da OpenAI

James Chapman

Curriculum Manager, DataCamp

Moderação

Identificando conteúdo impróprio

Tradicionalmente,

Moderadores sinalizam conteúdo manualmente
- ❌ Demorado
Correspondência por palavras-chave
- ❌ Falta nuance e entendimento de contexto

Ícones de fala representando conteúdo malicioso.

Categorias de violação

Identificar violações de termos de uso
Diferenciar o tipo de violação por categoria
- Violência
- Discurso de ódio

Ícones de fala representando conteúdo malicioso.

¹ https://openai.com/policies/usage-policies ² https://platform.openai.com/docs/guides/moderation/overview

Criando uma solicitação de moderação

from openai import OpenAI

client = OpenAI(api_key="ENTER API KEY")


response = client.moderations.create(

  input="I could kill for a hamburger."

)

Interpretando os resultados

categories
- Indicador true/false de violação por categoria
category_scores
- Confiança de uma violação
flagged
- Indicador true/false de violação

response.model_dump()

Saída da resposta

Interpretando os escores de categoria

Extraindo os category_scores da resposta

Números maiores → maior certeza de violação
Números $\neq$ probabilidades

Interpretando os escores de categoria

category_scores com violência destacada

Números maiores → maior certeza de violação
Números $\neq$ probabilidades

Considerações para implementar moderação

CategoryScores(harassment=2.775943e-05,
               harassment_threatening=1.3526056e-06,
               hate=2.733528e-07,
               hate_threatening=4.930576e-08,
               ...,
               violence=0.0500854030251503,
               ...)

Ajuste limiares para cada caso de uso
Limiar mais rígido pode reduzir falsos negativos
Limiar mais brando pode reduzir falsos positivos

Vamos praticar!

Sistemas Multimodais com a API da OpenAI