Резюмування тексту

Робота з Hugging Face

Jacob H. Marquez

Lead Data Engineer

Що таке резюмування?

Довгий текст

Екстрактивне vs абстрактивне

Екстрактивне:

$$ ✅ Вибирає ключові речення з тексту

$$ ✅ Ефективне, потребує менше ресурсів

$$ ❌ Менш гнучке; може бути не таким зв'язним

Абстрактивне:

$$ ✅ Генерує новий, перефразований текст

$$ ✅ Зрозуміліше та легше читається

$$ ❌ Потребує більше ресурсів і обчислень

Використання екстрактивного резюмування

📑 Юридичні документи: Виділяє ключові пункти

💰 Фінансові дослідження: Витягує інсайти

Юридичні документи

Фінансові дослідження

Використання абстрактивного резюмування

Новинні статті

Рекомендації контенту.jpg

📰 Новинні статті: Створює лаконічні резюме

$$ $$

📍 Рекомендації контенту: Генерує привабливі описи

Екстрактивне резюмування на практиці

from transformers import pipeline

# Load the extractive summarization pipeline
summarizer = pipeline("summarization", model="nyamuda/extractive-summarization")

text = "This is my really large text about Data Science..."
summary_text = summarizer(text)

print(summary_text[0]['summary_text'])

"data science is a field that combines mathematics, statistics...."

Абстрактивне резюмування на практиці

from transformers import pipeline

# Load the abstractive summarization pipeline
summarizer = pipeline("summarization", model="sshleifer/distilbart-cnn-12-6")


text = "This is my really large text about Data Science..."
summary_text = summarizer(text)
print(summary_text[0]['summary_text'])

"The global data science platform market is projected
 is projected to reach $140.9 billion by 2025..."

Параметри для резюмування

✅ min_new_tokens & max_new_tokens: Керують довжиною резюме

summarizer = pipeline(task="summarization", min_new_tokens=10, max_new_tokens=150)

Давайте потренуємось!

Робота з Hugging Face