Rezumarea textului

Lucrul cu Hugging Face

Jacob H. Marquez

Lead Data Engineer

Ce este rezumarea?

Text lung

Extractivă vs. Abstractivă

Extractivă:

$$ ✅ Selectează propoziții cheie din text

$$ ✅ Eficientă, necesită mai puține resurse

$$ ❌ Flexibilitate redusă; poate fi mai puțin coerentă

Abstractivă:

$$ ✅ Generează text nou, reformulat

$$ ✅ Mai clară și mai ușor de citit

$$ ❌ Necesită mai multe resurse și procesare

Cazuri de utilizare a rezumării extractive

📑 Documente juridice: Evidențiază clauzele cheie

💰 Cercetare financiară: Extrage informații relevante

Documente juridice

Cercetare financiară

Cazuri de utilizare a rezumării abstractive

Articole de știri

Content Recommendations.jpg

📰 Articole de știri: Creează rezumate concise

$$ $$

📍 Recomandări de conținut: Generează descrieri atractive

Rezumare extractivă în acțiune

from transformers import pipeline

# Load the extractive summarization pipeline
summarizer = pipeline("summarization", model="nyamuda/extractive-summarization")

text = "This is my really large text about Data Science..."
summary_text = summarizer(text)

print(summary_text[0]['summary_text'])

"data science is a field that combines mathematics, statistics...."

Rezumare abstractivă în acțiune

from transformers import pipeline

# Load the abstractive summarization pipeline
summarizer = pipeline("summarization", model="sshleifer/distilbart-cnn-12-6")


text = "This is my really large text about Data Science..."
summary_text = summarizer(text)
print(summary_text[0]['summary_text'])

"The global data science platform market is projected
 is projected to reach $140.9 billion by 2025..."

Parametri pentru rezumare

✅ min_new_tokens & max_new_tokens: Controlează lungimea rezumatului

summarizer = pipeline(task="summarization", min_new_tokens=10, max_new_tokens=150)

Să exersăm!

Lucrul cu Hugging Face