Questions et réponses relatives aux documents

Travailler avec Hugging Face

Jacob H. Marquez

Lead Data Engineer

Qu'est-ce que le questionnement/réponse basé sur des documents ?

$$

  • Répond aux questions à partir du contenu du document
  • Nécessite un document et une question
  • Fournit des réponses directes ou reformulées

$$

Question : Quel est le chiffre d'affaires total du troisième trimestre ?

A document

Travailler avec Hugging Face

Cas d'utilisation pour les questions-réponses relatives aux documents

Legal, finance and support use cases

$$

  • 📑 Juridique : identifier les clauses contractuelles

$$

  • 💰 Finance : extraire les chiffres clés

$$

  • 🤓 Assistance : consulter les manuels pour obtenir des réponses
Travailler avec Hugging Face

Automatisation des requêtes RH grâce aux questions-réponses documentaires

$$

  • 📄 Informations stockées dans US-Employee_Policy.pdf

$$

  • 🤖 Développer un système permettant d'extraire des réponses

$$

  • 🕑 Économiser du temps et des efforts en matière de RH

$$

HR team is overwhelmed

Travailler avec Hugging Face

Extraction de texte avec pypdf

from pypdf import PdfReader


# Load the PDF file
reader = PdfReader("US-Employee_Policy.pdf")


# Extract text from all pages
document_text = ""
for page in reader.pages:

    document_text += page.extract_text()

Welcome to the US Employee Policy document...
Travailler avec Hugging Face

Création d'un pipeline de questions-réponses

# Load the question-answering pipeline
qa_pipeline = pipeline(
    task="question-answering",
    model="distilbert-base-cased-distilled-squad")


question = "How many volunteer days are offered annually?"


# Get the answer from the QA pipeline
result = qa_pipeline(question=question, context=document_text)

print(f"Answer: {result['answer']}")

Answer: 1
Travailler avec Hugging Face

Récapitulatif

$$

  • 📄 UtiliserPdfReader de pypdf pour charger et lire les fichiers PDF
  • 🔎 Extraire le texte à l'aide de.pages et.extract_text() dans document_text
  • 🤔 Mettre en place un pipeline question-answering
  • ❓ Transmettre une question et un context au pipeline
  • ⏰ Intégrer dans des fonctions pour automatiser les requêtes

Document Q&A

HR team building company culture

Travailler avec Hugging Face

Passons à la pratique !

Travailler avec Hugging Face

Preparing Video For Download...