Metin özetleme

Hugging Face ile Çalışmak

Jacob H. Marquez

Lead Data Engineer

Özetleme nedir?

Uzun metin

Çıkarımsal vs. Soyutlayıcı

Çıkarımsal:

$$ ✅ Metinden kilit cümleleri seçer

$$ ✅ Verimli, daha az kaynak ister

$$ ❌ Esnekliği düşüktür; bütünlük zayıf olabilir

Soyutlayıcı:

$$ ✅ Yeni, yeniden yazılmış metin üretir

$$ ✅ Daha açık ve okunaklıdır

$$ ❌ Daha fazla kaynak ve işlem gerektirir

Çıkarımsal özetlemenin kullanım alanları

📑 Hukuki belgeler: Kilit hükümleri vurgular

💰 Finansal araştırma: İçgörüleri çıkarır

Hukuki belgeler

Finansal araştırma

Soyutlayıcı özetlemenin kullanım alanları

Haber makaleleri

İçerik önerileri.jpg

📰 Haber makaleleri: Kısa özetler üretir

$$ $$

📍 İçerik önerileri: Çekici açıklamalar oluşturur

Çıkarımsal özetleme uygulamada

from transformers import pipeline

# Load the extractive summarization pipeline
summarizer = pipeline("summarization", model="nyamuda/extractive-summarization")

text = "This is my really large text about Data Science..."
summary_text = summarizer(text)

print(summary_text[0]['summary_text'])

"data science is a field that combines mathematics, statistics...."

Soyutlayıcı özetleme uygulamada

from transformers import pipeline

# Load the abstractive summarization pipeline
summarizer = pipeline("summarization", model="sshleifer/distilbart-cnn-12-6")


text = "This is my really large text about Data Science..."
summary_text = summarizer(text)
print(summary_text[0]['summary_text'])

"The global data science platform market is projected
 is projected to reach $140.9 billion by 2025..."

Özetleme için parametreler

✅ min_new_tokens ve max_new_tokens: Özet uzunluğunu kontrol eder

summarizer = pipeline(task="summarization", min_new_tokens=10, max_new_tokens=150)

Haydi pratik yapalım!

Hugging Face ile Çalışmak