Sumarizace textu

Working with Hugging Face

Jacob H. Marquez

Lead Data Engineer

Co je sumarizace?

Rozsáhlý text

Extraktivní vs. abstraktivní

Extraktivní:

$$ ✅ Vybírá klíčové věty z textu

$$ ✅ Efektivní, vyžaduje méně zdrojů

$$ ❌ Nižší flexibilita; může být méně soudržná

Abstraktivní:

$$ ✅ Generuje nový přeformulovaný text

$$ ✅ Přehlednější a čitelnější

$$ ❌ Vyžaduje více zdrojů a výpočetního výkonu

Případy použití extraktivní sumarizace

📑 Právní dokumenty: Zvýrazňuje klíčová ustanovení

💰 Finanční výzkum: Extrahuje poznatky

Právní dokumenty

Finanční výzkum

Případy použití abstraktivní sumarizace

Zpravodajské články

Content Recommendations.jpg

📰 Zpravodajské články: Vytváří stručné souhrny

$$ $$

📍 Doporučení obsahu: Generuje přesvědčivé popisy

Extraktivní sumarizace v praxi

from transformers import pipeline

# Load the extractive summarization pipeline
summarizer = pipeline("summarization", model="nyamuda/extractive-summarization")

text = "This is my really large text about Data Science..."
summary_text = summarizer(text)

print(summary_text[0]['summary_text'])

"data science is a field that combines mathematics, statistics...."

Abstraktivní sumarizace v praxi

from transformers import pipeline

# Load the abstractive summarization pipeline
summarizer = pipeline("summarization", model="sshleifer/distilbart-cnn-12-6")


text = "This is my really large text about Data Science..."
summary_text = summarizer(text)
print(summary_text[0]['summary_text'])

"The global data science platform market is projected
 is projected to reach $140.9 billion by 2025..."

Parametry sumarizace

✅ min_new_tokens & max_new_tokens: Řídí délku souhrnu

summarizer = pipeline(task="summarization", min_new_tokens=10, max_new_tokens=150)

Pojďme si procvičit!

Working with Hugging Face