Moderasi konten

Sistem Multi-Modal dengan OpenAI API

James Chapman

Curriculum Manager, DataCamp

Moderasi

Mengidentifikasi konten yang tidak pantas

Secara tradisional,

Moderator menandai konten secara manual
- ✖ Memakan waktu
Pencocokan pola kata kunci
- ✖ Kurang nuansa dan memahami konteks

Ikon ucapan yang menggambarkan konten berbahaya.

Kategori pelanggaran

Identifikasi pelanggaran ketentuan atau penggunaan
Bedakan jenis pelanggaran per kategori
- Kekerasan
- Ujaran kebencian

Ikon ucapan yang menggambarkan konten berbahaya.

¹ https://openai.com/policies/usage-policies ² https://platform.openai.com/docs/guides/moderation/overview

Membuat permintaan moderasi

from openai import OpenAI

client = OpenAI(api_key="ENTER API KEY")


response = client.moderations.create(

  input="I could kill for a hamburger."

)

Menafsirkan hasil

categories
- Indikator true/false pelanggaran kategori
category_scores
- Keyakinan adanya pelanggaran
flagged
- Indikator true/false adanya pelanggaran

response.model_dump()

Keluaran respons

Menafsirkan skor kategori

Mengekstrak category_scores dari respons

Angka lebih besar → kepastian pelanggaran lebih tinggi
Angka ≠ probabilitas

Menafsirkan skor kategori

category_scores dengan kekerasan disorot

Angka lebih besar → kepastian pelanggaran lebih tinggi
Angka ≠ probabilitas

Pertimbangan penerapan moderasi

CategoryScores(harassment=2.775943e-05,
               harassment_threatening=1.3526056e-06,
               hate=2.733528e-07,
               hate_threatening=4.930576e-08,
               ...,
               violence=0.0500854030251503,
               ...)

Sesuaikan ambang untuk tiap use case
Ambang lebih ketat → lebih sedikit false negative
Ambang lebih longgar → lebih sedikit false positive

Ayo berlatih!

Sistem Multi-Modal dengan OpenAI API