Pytania i odpowiedzi z dokumentów

Praca z Hugging Face

Jacob H. Marquez

Lead Data Engineer

Czym jest pytanie i odpowiedź z dokumentu?

$$

  • Odpowiada na pytania na podstawie treści dokumentu
  • Wymaga dokumentu i pytania
  • Udziela bezpośrednich lub sparafrazowanych odpowiedzi

$$

Pytanie: „Jaki jest łączny przychód w Q3?"

Dokument

Praca z Hugging Face

Zastosowania Q&A z dokumentów

Przypadki użycia: prawo, finanse, wsparcie

$$

  • 📑 Prawo: Identyfikacja klauzul umownych

$$

  • 💰 Finanse: Wyodrębnianie kluczowych danych

$$

  • 🤓 Wsparcie: Pobieranie odpowiedzi z instrukcji
Praca z Hugging Face

Automatyzacja zapytań HR za pomocą Q&A z dokumentów

$$

  • 📄 Informacje przechowywane w US-Employee_Policy.pdf

$$

  • 🤖 Zbuduj system do wyodrębniania odpowiedzi

$$

  • 🕑 Oszczędź czas i wysiłek działu HR

$$

Przeciążony zespół HR

Praca z Hugging Face

Wyodrębnianie tekstu za pomocą pypdf

from pypdf import PdfReader


# Load the PDF file
reader = PdfReader("US-Employee_Policy.pdf")


# Extract text from all pages
document_text = ""
for page in reader.pages:

    document_text += page.extract_text()

Welcome to the US Employee Policy document...
Praca z Hugging Face

Tworzenie potoku Q&A

# Load the question-answering pipeline
qa_pipeline = pipeline(
    task="question-answering",
    model="distilbert-base-cased-distilled-squad")


question = "How many volunteer days are offered annually?"


# Get the answer from the QA pipeline
result = qa_pipeline(question=question, context=document_text)

print(f"Answer: {result['answer']}")

Answer: 1
Praca z Hugging Face

Podsumowanie

$$

  • 📄 Użyj PdfReader z pypdf do wczytania plików PDF
  • 🔎 Wyodrębnij tekst za pomocą .pages i .extract_text() do document_text
  • 🤔 Skonfiguruj potok question-answering
  • ❓ Przekaż question i context do potoku
  • ⏰ Opakuj w funkcje, aby zautomatyzować zapytania

Pytania i odpowiedzi z dokumentów

Zespół HR budujący kulturę firmy

Praca z Hugging Face

Czas na ćwiczenia!

Praca z Hugging Face

Preparing Video For Download...