Tóm tắt văn bản

Làm việc với Hugging Face

Jacob H. Marquez

Lead Data Engineer

Tóm tắt là gì?

Văn bản dài

Trích xuất vs. Trừu tượng

Trích xuất:

$$ ✅ Chọn câu quan trọng từ văn bản

$$ ✅ Hiệu quả, ít tài nguyên hơn

$$ ❌ Kém linh hoạt; có thể kém mạch lạc

Trừu tượng:

$$ ✅ Tạo văn bản mới, diễn đạt lại

$$ ✅ Rõ ràng, dễ đọc hơn

$$ ❌ Cần nhiều tài nguyên và xử lý hơn

Trường hợp dùng của tóm tắt trích xuất

📑 Tài liệu pháp lý: Nổi bật các điều khoản chính

💰 Nghiên cứu tài chính: Trích xuất insight

Tài liệu pháp lý

Nghiên cứu tài chính

Trường hợp dùng của tóm tắt trừu tượng

Bài báo tin tức

Gợi ý nội dung.jpg

📰 Bài báo tin tức: Tạo tóm tắt ngắn gọn

$$ $$

📍 Gợi ý nội dung: Tạo mô tả hấp dẫn

Tóm tắt trích xuất: minh họa

from transformers import pipeline

# Load the extractive summarization pipeline
summarizer = pipeline("summarization", model="nyamuda/extractive-summarization")

text = "This is my really large text about Data Science..."
summary_text = summarizer(text)

print(summary_text[0]['summary_text'])

"data science is a field that combines mathematics, statistics...."

Tóm tắt trừu tượng: minh họa

from transformers import pipeline

# Load the abstractive summarization pipeline
summarizer = pipeline("summarization", model="sshleifer/distilbart-cnn-12-6")


text = "This is my really large text about Data Science..."
summary_text = summarizer(text)
print(summary_text[0]['summary_text'])

"The global data science platform market is projected
 is projected to reach $140.9 billion by 2025..."

Tham số cho tóm tắt

✅ min_new_tokens & max_new_tokens: Kiểm soát độ dài bản tóm tắt

summarizer = pipeline(task="summarization", min_new_tokens=10, max_new_tokens=150)

Ayo berlatih!

Làm việc với Hugging Face