Dotazy na dokumenty

Working with Hugging Face

Jacob H. Marquez

Lead Data Engineer

Co je Q&A nad dokumenty?

$$

  • Odpovídá na otázky z obsahu dokumentu
  • Vyžaduje dokument a otázku
  • Poskytuje přímé nebo parafrázované odpovědi

$$

Otázka: "Jaké jsou celkové příjmy za Q3?"

Dokument

Working with Hugging Face

Případy použití pro Q&A nad dokumenty

Případy použití v právu, financích a podpoře

$$

  • 📑 Právo: Identifikace smluvních klauzulí

$$

  • 💰 Finance: Extrakce klíčových údajů

$$

  • 🤓 Podpora: Vyhledávání odpovědí z manuálů
Working with Hugging Face

Automatizace HR dotazů pomocí Q&A nad dokumenty

$$

  • 📄 Informace uloženy v US-Employee_Policy.pdf

$$

  • 🤖 Sestavte systém pro extrakci odpovědí

$$

  • 🕑 Ušetřete čas a úsilí HR oddělení

$$

Přetížený HR tým

Working with Hugging Face

Extrakce textu pomocí pypdf

from pypdf import PdfReader


# Load the PDF file
reader = PdfReader("US-Employee_Policy.pdf")


# Extract text from all pages
document_text = ""
for page in reader.pages:

    document_text += page.extract_text()

Welcome to the US Employee Policy document...
Working with Hugging Face

Vytvoření pipeline pro Q&A

# Load the question-answering pipeline
qa_pipeline = pipeline(
    task="question-answering",
    model="distilbert-base-cased-distilled-squad")


question = "How many volunteer days are offered annually?"


# Get the answer from the QA pipeline
result = qa_pipeline(question=question, context=document_text)

print(f"Answer: {result['answer']}")

Answer: 1
Working with Hugging Face

Shrnutí

$$

  • 📄 Pro načtení PDF souborů použijte PdfReader z pypdf
  • 🔎 Extrahujte text pomocí .pages a .extract_text() do document_text
  • 🤔 Nastavte pipeline question-answering
  • ❓ Předejte question a context do pipeline
  • ⏰ Zabalte do funkcí pro automatizaci dotazů

Dotazy na dokumenty

HR tým budující firemní kulturu

Working with Hugging Face

Pojďme procvičovat!

Working with Hugging Face

Preparing Video For Download...