Rangkuman teks

Bekerja dengan Hugging Face

Jacob H. Marquez

Lead Data Engineer

Apa itu rangkuman?

Teks panjang

Ekstraktif vs. Abstraktif

Ekstraktif:

$$ ✅ Memilih kalimat kunci dari teks

$$ ✅ Efisien, butuh sumber daya lebih sedikit

$$ ❌ Kurang fleksibel; bisa kurang koheren

Abstraktif:

$$ ✅ Menghasilkan teks baru yang diparafrase

$$ ✅ Lebih jelas dan mudah dibaca

$$ ❌ Memerlukan lebih banyak sumber daya dan pemrosesan

Kasus penggunaan rangkuman ekstraktif

📑 Dokumen Hukum: Menyorot klausul kunci

💰 Riset Keuangan: Mengekstrak insight

Dokumen Hukum

Riset Keuangan

Kasus penggunaan rangkuman abstraktif

Artikel Berita

Rekomendasi Konten.jpg

📰 Artikel Berita: Membuat ringkasan singkat

$$ $$

📍 Rekomendasi Konten: Menghasilkan deskripsi menarik

Rangkuman ekstraktif: demo

from transformers import pipeline

# Load the extractive summarization pipeline
summarizer = pipeline("summarization", model="nyamuda/extractive-summarization")

text = "This is my really large text about Data Science..."
summary_text = summarizer(text)

print(summary_text[0]['summary_text'])

"data science is a field that combines mathematics, statistics...."

Rangkuman abstraktif: demo

from transformers import pipeline

# Load the abstractive summarization pipeline
summarizer = pipeline("summarization", model="sshleifer/distilbart-cnn-12-6")


text = "This is my really large text about Data Science..."
summary_text = summarizer(text)
print(summary_text[0]['summary_text'])

"The global data science platform market is projected
 is projected to reach $140.9 billion by 2025..."

Parameter untuk rangkuman

✅ min_new_tokens & max_new_tokens: Mengatur panjang ringkasan

summarizer = pipeline(task="summarization", min_new_tokens=10, max_new_tokens=150)

Ayo berlatih!

Bekerja dengan Hugging Face