Textzusammenfassung

Arbeiten mit Hugging Face

Jacob H. Marquez

Lead Data Engineer

Was heißt Zusammenfassung?

Großer Text

Extraktiv vs. Abstraktiv

Extraktiv:

$$ ✅ Wählt wichtige Sätze aus Text aus

$$ ✅ Effizient, braucht weniger Ressourcen

$$ ❌ Nicht so flexibel; manchmal weniger zusammenhängend

Abstrakt:

$$ ✅ Erstellt neuen Text

$$ ✅ Mehr Klarheit und Lesbarkeit

$$ ❌ Braucht mehr Ressourcen und Rechenleistung

Anwendungsfälle für extraktive Zusammenfassungen

📑 Rechtsdokumente: hebt wichtige Klauseln hervor

💰 Finanzbereich: extrahiert Erkenntnisse

Legal Documents

Financial Research

Anwendungsfälle für abstrakte Zusammenfassungen

Nachrichtenartikel

Content Recommendations.jpg

📰 Nachrichtenartikel: erstellt knappe Zusammenfassungen

$$ $$

📍 Inhaltsempfehlungen: erstellt überzeugende Beschreibungen

Extraktive Zusammenfassung in Aktion

from transformers import pipeline

# Load the extractive summarization pipeline
summarizer = pipeline("summarization", model="nyamuda/extractive-summarization")

text = "This is my really large text about Data Science..."
summary_text = summarizer(text)

print(summary_text[0]['summary_text'])

"data science is a field that combines mathematics, statistics...."

Abstrakte Zusammenfassung in Aktion

from transformers import pipeline

# Load the abstractive summarization pipeline
summarizer = pipeline("summarization", model="sshleifer/distilbart-cnn-12-6")


text = "This is my really large text about Data Science..."
summary_text = summarizer(text)
print(summary_text[0]['summary_text'])

"The global data science platform market is projected
 is projected to reach $140.9 billion by 2025..."

Parameter für die Zusammenfassung

✅ min_new_tokens & max_new_tokens: bestimmen Länge der Zusammenfassung

summarizer = pipeline(task="summarization", min_new_tokens=10, max_new_tokens=150)

Lass uns üben!

Arbeiten mit Hugging Face