Tekstsamenvatting

Werken met Hugging Face

Jacob H. Marquez

Lead Data Engineer

Wat is samenvatten?

Lange tekst

Extractive vs. Abstractive

Extractive:

$$ ✅ Selecteert ker zinnen uit de tekst

$$ ✅ Efficiënt, vraagt minder resources

$$ ❌ Minder flexibel; kan minder samenhangend zijn

Abstractive:

$$ ✅ Genereert nieuwe, herformuleerde tekst

$$ ✅ Duidelijker en beter leesbaar

$$ ❌ Vereist meer resources en verwerking

Use-cases van extractive samenvatting

📑 Juridische documenten: Licht kernclausules uit

💰 Financieel onderzoek: Haalt inzichten op

Juridische documenten

Financieel onderzoek

Use-cases van abstractive samenvatting

Nieuwspartikelen

Aanbevelingen voor content.jpg

📰 Nieuwspartikelen: Maakt beknopte samenvattingen

$$ $$

📍 Contentaanbevelingen: Genereert pakkende beschrijvingen

Extractive samenvatting in de praktijk

from transformers import pipeline

# Load the extractive summarization pipeline
summarizer = pipeline("summarization", model="nyamuda/extractive-summarization")

text = "This is my really large text about Data Science..."
summary_text = summarizer(text)

print(summary_text[0]['summary_text'])

"data science is a field that combines mathematics, statistics...."

Abstractive samenvatting in de praktijk

from transformers import pipeline

# Load the abstractive summarization pipeline
summarizer = pipeline("summarization", model="sshleifer/distilbart-cnn-12-6")


text = "This is my really large text about Data Science..."
summary_text = summarizer(text)
print(summary_text[0]['summary_text'])

"The global data science platform market is projected
 is projected to reach $140.9 billion by 2025..."

Parameters voor samenvatten

✅ min_new_tokens & max_new_tokens: Bepalen samenvattingslengte

summarizer = pipeline(task="summarization", min_new_tokens=10, max_new_tokens=150)

Laten we oefenen!

Werken met Hugging Face