Resumo de texto

Trabalhando com Hugging Face

Jacob H. Marquez

Lead Data Engineer

O que é sumarização?

Texto longo

Extrativa vs. Abstrativa

Extrativa:

$$ ✅ Seleciona frases-chave do texto

$$ ✅ Eficiente; exige menos recursos

$$ ❌ Menos flexível; pode ficar pouco coesa

Abstrativa:

$$ ✅ Gera novo texto reescrito

$$ ✅ Mais claro e legível

$$ ❌ Requer mais recursos e processamento

Casos de uso de sumarização extrativa

📑 Documentos legais: Destaca cláusulas-chave

💰 Pesquisas financeiras: Extrai insights

Documentos legais

Pesquisa financeira

Casos de uso de sumarização abstrativa

Artigos de notícias

Recomendações de conteúdo.jpg

📰 Artigos de notícias: Cria resumos curtos

$$ $$

📍 Recomendações de conteúdo: Gera descrições atraentes

Sumarização extrativa na prática

from transformers import pipeline

# Load the extractive summarization pipeline
summarizer = pipeline("summarization", model="nyamuda/extractive-summarization")

text = "This is my really large text about Data Science..."
summary_text = summarizer(text)

print(summary_text[0]['summary_text'])

"data science is a field that combines mathematics, statistics...."

Sumarização abstrativa na prática

from transformers import pipeline

# Load the abstractive summarization pipeline
summarizer = pipeline("summarization", model="sshleifer/distilbart-cnn-12-6")


text = "This is my really large text about Data Science..."
summary_text = summarizer(text)
print(summary_text[0]['summary_text'])

"The global data science platform market is projected
 is projected to reach $140.9 billion by 2025..."

Parâmetros de sumarização

✅ min_new_tokens & max_new_tokens: Controlam o tamanho do resumo

summarizer = pipeline(task="summarization", min_new_tokens=10, max_new_tokens=150)

Vamos praticar!

Trabalhando com Hugging Face