Podsumowywanie tekstu

Praca z Hugging Face

Jacob H. Marquez

Lead Data Engineer

Czym jest streszczanie?

Duży tekst

Ekstrakcyjne vs. abstrakcyjne

Ekstrakcyjne:

$$ ✅ Wybiera kluczowe zdania z tekstu

$$ ✅ Wydajne, wymaga mniej zasobów

$$ ❌ Mało elastyczne; może być mniej spójne

Abstrakcyjne:

$$ ✅ Generuje nowy, przeformułowany tekst

$$ ✅ Jaśniejsze i bardziej czytelne

$$ ❌ Wymaga więcej zasobów i przetwarzania

Zastosowania streszczania ekstrakcyjnego

📑 Dokumenty prawne: Wyróżnia kluczowe klauzule

💰 Badania finansowe: Wyodrębnia wnioski

Dokumenty prawne

Badania finansowe

Zastosowania streszczania abstrakcyjnego

Artykuły prasowe

Content Recommendations.jpg

📰 Artykuły prasowe: Tworzy zwięzłe streszczenia

$$ $$

📍 Rekomendacje treści: Generuje przyciągające opisy

Streszczanie ekstrakcyjne w praktyce

from transformers import pipeline

# Load the extractive summarization pipeline
summarizer = pipeline("summarization", model="nyamuda/extractive-summarization")

text = "This is my really large text about Data Science..."
summary_text = summarizer(text)

print(summary_text[0]['summary_text'])

"data science is a field that combines mathematics, statistics...."

Streszczanie abstrakcyjne w praktyce

from transformers import pipeline

# Load the abstractive summarization pipeline
summarizer = pipeline("summarization", model="sshleifer/distilbart-cnn-12-6")


text = "This is my really large text about Data Science..."
summary_text = summarizer(text)
print(summary_text[0]['summary_text'])

"The global data science platform market is projected
 is projected to reach $140.9 billion by 2025..."

Parametry streszczania

✅ min_new_tokens & max_new_tokens: Kontrolują długość streszczenia

summarizer = pipeline(task="summarization", min_new_tokens=10, max_new_tokens=150)

Czas na ćwiczenia!

Praca z Hugging Face