Document-vragen beantwoorden

Werken met Hugging Face

Jacob H. Marquez

Lead Data Engineer

Wat is document-vraag en antwoord?

$$

  • Beantwoordt vragen op basis van documentinhoud
  • Vereist een document en een vraag
  • Geeft directe of geparafraseerde antwoorden

$$

Vraag: "What is the total revenue of Q3?"

Een document

Werken met Hugging Face

Usecases voor document-Q&A

Usecases voor juridisch, finance en support

$$

  • 📑 Juridisch: Contractclausules identificeren

$$

  • 💰 Finance: Kerncijfers extraheren

$$

  • 🤓 Support: Antwoorden uit handleidingen ophalen
Werken met Hugging Face

HR-vragen automatiseren met document-Q&A

$$

  • 📄 Info staat in US-Employee_Policy.pdf

$$

  • 🤖 Bouw een systeem om antwoorden te halen

$$

  • 🕑 Bespaar HR tijd en moeite

$$

HR-team is overbelast

Werken met Hugging Face

Tekst extraheren met pypdf

from pypdf import PdfReader


# Load the PDF file
reader = PdfReader("US-Employee_Policy.pdf")


# Extract text from all pages
document_text = ""
for page in reader.pages:

    document_text += page.extract_text()

Welcome to the US Employee Policy document...
Werken met Hugging Face

Een Q&A-pijplijn maken

# Load the question-answering pipeline
qa_pipeline = pipeline(
    task="question-answering",
    model="distilbert-base-cased-distilled-squad")


question = "How many volunteer days are offered annually?"


# Get the answer from the QA pipeline
result = qa_pipeline(question=question, context=document_text)

print(f"Answer: {result['answer']}")

Answer: 1
Werken met Hugging Face

Alles samenbrengen

$$

  • 📄 Gebruik PdfReader van pypdf om PDF's te laden en lezen
  • 🔎 Extraheer tekst met .pages en .extract_text() naar document_text
  • 🤔 Zet een question-answering-pijplijn op
  • ❓ Geef een question en context door aan de pijplijn
  • ⏰ Verpak in functies om vragen te automatiseren

Document Q&A

HR-team bouwt aan bedrijfscultuur

Werken met Hugging Face

Laten we oefenen!

Werken met Hugging Face

Preparing Video For Download...