Tanya Jawab Dokumen

Bekerja dengan Hugging Face

Jacob H. Marquez

Lead Data Engineer

Apa itu tanya jawab dokumen?

$$

  • Menjawab pertanyaan dari isi dokumen
  • Membutuhkan dokumen dan pertanyaan
  • Memberikan jawaban langsung atau parafrasa

$$

Pertanyaan: "Berapa total pendapatan Q3?"

Sebuah dokumen

Bekerja dengan Hugging Face

Kasus penggunaan tanya jawab dokumen

Kasus penggunaan legal, finansial, dan dukungan

$$

  • 📑 Legal: Identifikasi klausul kontrak

$$

  • 💰 Finansial: Ekstrak angka kunci

$$

  • 🤓 Dukungan: Ambil jawaban dari manual
Bekerja dengan Hugging Face

Mengotomatiskan kueri HR dengan tanya jawab dokumen

$$

  • 📄 Info disimpan di US-Employee_Policy.pdf

$$

  • 🤖 Bangun sistem untuk mengekstrak jawaban

$$

  • 🕑 Hemat waktu dan upaya HR

$$

Tim HR kewalahan

Bekerja dengan Hugging Face

Mengekstrak teks dengan pypdf

from pypdf import PdfReader


# Load the PDF file
reader = PdfReader("US-Employee_Policy.pdf")


# Extract text from all pages
document_text = ""
for page in reader.pages:

    document_text += page.extract_text()

Selamat datang di dokumen Kebijakan Karyawan AS...
Bekerja dengan Hugging Face

Membuat pipeline Q&A

# Load the question-answering pipeline
qa_pipeline = pipeline(
    task="question-answering",
    model="distilbert-base-cased-distilled-squad")


question = "Berapa hari relawan yang ditawarkan setiap tahun?"


# Get the answer from the QA pipeline
result = qa_pipeline(question=question, context=document_text)

print(f"Answer: {result['answer']}")

Answer: 1
Bekerja dengan Hugging Face

Menggabungkan semuanya

$$

  • 📄 Gunakan PdfReader dari pypdf untuk memuat dan membaca PDF
  • 🔎 Ekstrak teks dengan .pages dan .extract_text() ke document_text
  • 🤔 Siapkan pipeline question-answering
  • ❓ Berikan question dan context ke pipeline
  • ⏰ Bungkus dalam fungsi untuk otomatisasi kueri

Tanya Jawab Dokumen

Tim HR membangun budaya perusahaan

Bekerja dengan Hugging Face

Ayo berlatih!

Bekerja dengan Hugging Face

Preparing Video For Download...