Вопросы к документу

Работа с Hugging Face

Jacob H. Marquez

Lead Data Engineer

Что такое вопросно-ответная система для документов?

Отвечает на вопросы по содержимому документа
Требует документ и вопрос
Даёт прямые или перефразированные ответы

Вопрос: «Какова общая выручка за третий квартал?»

Документ

Применение вопросно-ответных систем для документов

Применение в юридической, финансовой сфере и поддержке

📑 Юридическая сфера: выявление пунктов договора

💰 Финансы: извлечение ключевых показателей

🤓 Поддержка: поиск ответов в руководствах

Автоматизация HR-запросов с помощью вопросно-ответной системы

📄 Данные хранятся в US-Employee_Policy.pdf

🤖 Создание системы для извлечения ответов

🕑 Экономия времени и усилий HR-отдела

Команда HR перегружена

Извлечение текста с помощью pypdf

from pypdf import PdfReader


# Load the PDF file
reader = PdfReader("US-Employee_Policy.pdf")


# Extract text from all pages
document_text = ""
for page in reader.pages:

    document_text += page.extract_text()

Welcome to the US Employee Policy document...

Создание конвейера Q&A

# Load the question-answering pipeline
qa_pipeline = pipeline(
    task="question-answering",
    model="distilbert-base-cased-distilled-squad")


question = "How many volunteer days are offered annually?"


# Get the answer from the QA pipeline
result = qa_pipeline(question=question, context=document_text)

print(f"Answer: {result['answer']}")

Answer: 1

Всё вместе

📄 Загрузите PDF с помощью PdfReader из pypdf
🔎 Извлеките текст через .pages и .extract_text() в document_text
🤔 Настройте конвейер question-answering
❓ Передайте question и context в конвейер
⏰ Оберните в функции для автоматизации запросов

Вопросно-ответная система для документов

Команда HR формирует корпоративную культуру

Давайте потренируемся!

Работа с Hugging Face