Perguntas e respostas com documentos

Trabalhando com Hugging Face

Jacob H. Marquez

Lead Data Engineer

O que é Q&A com documentos?

$$

  • Responde perguntas com base no documento
  • Precisa de um documento e uma pergunta
  • Fornece respostas diretas ou parafraseadas

$$

Pergunta: "Qual é a receita total do 3º tri.?"

Um documento

Trabalhando com Hugging Face

Casos de uso de Q&A com documentos

Casos: jurídico, finanças e suporte

$$

  • 📑 Jurídico: Identificar cláusulas contratuais

$$

  • 💰 Finanças: Extrair números-chave

$$

  • 🤓 Suporte: Buscar respostas em manuais
Trabalhando com Hugging Face

Automatizando dúvidas de RH com Q&A

$$

  • 📄 Info no US-Employee_Policy.pdf

$$

  • 🤖 Construir um sistema para extrair respostas

$$

  • 🕑 Economiza tempo e esforço de RH

$$

Equipe de RH sobrecarregada

Trabalhando com Hugging Face

Extraindo texto com pypdf

from pypdf import PdfReader


# Load the PDF file
reader = PdfReader("US-Employee_Policy.pdf")


# Extract text from all pages
document_text = ""
for page in reader.pages:

    document_text += page.extract_text()

Welcome to the US Employee Policy document...
Trabalhando com Hugging Face

Criando um pipeline de Q&A

# Load the question-answering pipeline
qa_pipeline = pipeline(
    task="question-answering",
    model="distilbert-base-cased-distilled-squad")


question = "How many volunteer days are offered annually?"


# Get the answer from the QA pipeline
result = qa_pipeline(question=question, context=document_text)

print(f"Answer: {result['answer']}")

Answer: 1
Trabalhando com Hugging Face

Juntando tudo

$$

  • 📄 Usa PdfReader do pypdf para carregar e ler PDFs
  • 🔎 Extrai texto com .pages e .extract_text() em document_text
  • 🤔 Configura um pipeline de question-answering
  • ❓ Passa question e context para o pipeline
  • ⏰ Empacota em funções para automatizar consultas

Q&A com documentos

Equipe de RH construindo a cultura

Trabalhando com Hugging Face

Vamos praticar!

Trabalhando com Hugging Face

Preparing Video For Download...