Суммаризация текста

Работа с Hugging Face

Jacob H. Marquez

Lead Data Engineer

Что такое суммаризация?

Большой текст

Экстрактивная vs. абстрактивная

Экстрактивная:

$$ ✅ Выбирает ключевые предложения из текста

$$ ✅ Эффективна, требует меньше ресурсов

$$ ❌ Менее гибкая; может быть несвязной

Абстрактивная:

$$ ✅ Генерирует новый перефразированный текст

$$ ✅ Более чёткая и читаемая

$$ ❌ Требует больше ресурсов и вычислений

Сценарии применения экстрактивной суммаризации

📑 Юридические документы: выделяет ключевые пункты

💰 Финансовые исследования: извлекает инсайты

Юридические документы

Финансовые исследования

Сценарии применения абстрактивной суммаризации

Новостные статьи

Content Recommendations.jpg

📰 Новостные статьи: создаёт краткие резюме

$$ $$

📍 Рекомендации контента: генерирует привлекательные описания

Экстрактивная суммаризация в действии

from transformers import pipeline

# Load the extractive summarization pipeline
summarizer = pipeline("summarization", model="nyamuda/extractive-summarization")

text = "This is my really large text about Data Science..."
summary_text = summarizer(text)

print(summary_text[0]['summary_text'])

"data science is a field that combines mathematics, statistics...."

Абстрактивная суммаризация в действии

from transformers import pipeline

# Load the abstractive summarization pipeline
summarizer = pipeline("summarization", model="sshleifer/distilbart-cnn-12-6")


text = "This is my really large text about Data Science..."
summary_text = summarizer(text)
print(summary_text[0]['summary_text'])

"The global data science platform market is projected
 is projected to reach $140.9 billion by 2025..."

Параметры суммаризации

✅ min_new_tokens & max_new_tokens: управляют длиной резюме

summarizer = pipeline(task="summarization", min_new_tokens=10, max_new_tokens=150)

Давайте потренируемся!

Работа с Hugging Face