Textsammanfattning

Arbeta med Hugging Face

Jacob H. Marquez

Lead Data Engineer

Vad är sammanfattning?

Stor text

Extraktiv vs. abstrakt

Extraktiv:

$$ ✅ Väljer ut nyckelmeningar ur texten

$$ ✅ Effektiv, kräver få resurser

$$ ❌ Begränsad flexibilitet; kan bli mindre sammanhängande

Abstrakt:

$$ ✅ Genererar ny, omformulerad text

$$ ✅ Tydligare och mer lättläst

$$ ❌ Kräver mer resurser och bearbetning

Användningsområden för extraktiv sammanfattning

📑 Juridiska dokument: Lyfter fram viktiga klausuler

💰 Finansiell forskning: Extraherar insikter

Juridiska dokument

Finansiell forskning

Användningsområden för abstrakt sammanfattning

Nyhetsartiklar

Content Recommendations.jpg

📰 Nyhetsartiklar: Skapar kortfattade sammanfattningar

$$ $$

📍 Innehållsrekommendationer: Genererar beskrivningar

Extraktiv sammanfattning i praktiken

from transformers import pipeline

# Load the extractive summarization pipeline
summarizer = pipeline("summarization", model="nyamuda/extractive-summarization")

text = "This is my really large text about Data Science..."
summary_text = summarizer(text)

print(summary_text[0]['summary_text'])

"data science is a field that combines mathematics, statistics...."

Abstrakt sammanfattning i praktiken

from transformers import pipeline

# Load the abstractive summarization pipeline
summarizer = pipeline("summarization", model="sshleifer/distilbart-cnn-12-6")


text = "This is my really large text about Data Science..."
summary_text = summarizer(text)
print(summary_text[0]['summary_text'])

"The global data science platform market is projected
 is projected to reach $140.9 billion by 2025..."

Parametrar för sammanfattning

✅ min_new_tokens & max_new_tokens: Styr sammanfattningens längd

summarizer = pipeline(task="summarization", min_new_tokens=10, max_new_tokens=150)

Nu kör vi en övning!

Arbeta med Hugging Face