Răspuns vizual la întrebări (VQA)

Modele Multi-Modale cu Hugging Face

James Chapman

Curriculum Manager, DataCamp

Sarcini multimodale de tip QA

Diagramă care arată procesarea imaginii și textului într-un model VQA

Encodare separată a textului întrebării și a celeilalte modalități

Sarcini multimodale de tip QA

Diagramă care arată procesarea imaginii și textului într-un model VQA

Encodare separată a textului întrebării și a celeilalte modalități
Combinarea caracteristicilor encodate

Sarcini multimodale de tip QA

Diagramă care arată procesarea imaginii și textului într-un model VQA

Encodare separată a textului întrebării și a celeilalte modalități
Combinarea caracteristicilor encodate
Straturi suplimentare ale modelului pentru predicția răspunsului

VQA

import requests
from PIL import Image

url = "https://www.worldanimalprotection
.org/cdn-cgi/image/width=1920,format=
auto/globalassets/images/elephants/1
033551-elephant.jpg"


image = Image.open(requests.get(url, 
stream=True).raw)


text = "What animal is in this photo?"

Fotografie a unui elefant în sălbăticie

VQA

Modelul cunoaște caracteristicile imaginilor și textului pentru multe obiecte
Modele reutilizabile fără reglaj suplimentar

Diagramă care arată focalizarea pe un animal și identificarea acestuia

VQA

from transformers import ViltProcessor, ViltForQuestionAnswering


processor = ViltProcessor.from_pretrained("dandelin/vilt-b32-finetuned-vqa")
model = ViltForQuestionAnswering.from_pretrained("dandelin/vilt-b32-finetuned-vqa")


encoding = processor(image, text, return_tensors="pt")


outputs = model(**encoding)

idx = outputs.logits.argmax(-1).item()


print("Predicted answer:", model.config.id2label[idx])

Predicted answer: elephant

Document VQA

Extensie a VQA pentru detectarea graficelor, tabelelor și textului (OCR) în imagini

from datasets import load_dataset
from transformers import pipeline

dataset = load_dataset("lmms-lab/DocVQA")


import matplotlib.pyplot as plt
plt.imshow(dataset["test"][2]["image"])
plt.show()

Imagine a unui document cu grafice și diagrame cu bare

Document VQA

Logo Google Tesseract

Dependențe suplimentare necesare pentru OCR
pytesseract instalat prin pip
Tesseract OCR prin installer (ex. apt-get, exe sau homebrew/macports)

Fotografie a unui indicator de cafenea cu OCR

Document VQA

LayoutLM: Antrenat cu imagini și Q/A-uri din setul de date DocVQA

from transformers import pipeline
pipe = pipeline("document-question-answering", "impira/layoutlm-document-qa")


result = pipe(
    dataset["test"][2]["image"],
    "What was the gross income in 2011-2012?"
)

Document VQA

print(result)

[{'score': 0.05149758607149124,
  'answer': '3 36073 Crores', ...}]

Imagine a unui document cu grafice și diagrame cu bare

Să exersăm!

Modele Multi-Modale cu Hugging Face