Răspuns la întrebări

Procesarea Limbajului Natural (NLP) în Python

Fouad Trad

Machine Learning Engineer

QA extractiv

Răspuns copiat direct din pasaj

Imagine cu contextul „Biblioteca se închide la 18:00 în zilele lucrătoare"

Imagine cu un răspuns extractiv: „18:00"

QA abstractiv

Modelul generează un răspuns natural

Imagine cu întrebarea: „Când se închide biblioteca în zilele lucrătoare?"

Imagine cu un răspuns abstractiv: „Închiderea este la 18:00"

QA extractiv

Util în:
- Motoare de căutare
- Sisteme de regăsire a documentelor
- Aplicații de înțelegere a textului
Mai precis, mai puțin predispus la erori

QA abstractiv

Util în:
- Agenți conversaționali
- Asistenți virtuali
- Boți de suport pentru clienți
Poate introduce erori

QA extractiv

from transformers import pipeline

qa_pipeline = pipeline(task="question-answering", 
                       model="distilbert/distilbert-base-cased-distilled-squad")

context = """The Amazon rainforest is the largest tropical rainforest in the world, 
covering parts of Brazil, Peru, and Colombia."""

question = "Which countries does the Amazon rainforest cover?"

qa_answer = qa_pipeline(question=question, context=context)
print(qa_answer)

{'score': 0.9242347478866577,

 'start': 90, 'end': 116,

 'answer': 'Brazil, Peru, and Colombia'}

QA abstractiv

from transformers import pipeline
qa_pipeline = pipeline(task="text2text-generation",
                       model="fangyuan/hotpotqa_abstractive")

context = """The Amazon rainforest is the largest tropical rainforest in the world, 
covering parts of Brazil, Peru, and Colombia."""
question = "Which countries does the Amazon rainforest cover?"

input_text = f"question: {question}  context: {context}"

result = qa_pipeline(input_text)

print(result)

[{'generated_text': 'The Amazon rainforest covers parts of Brazil, Peru, and Colombia.'}]

Să exersăm!

Procesarea Limbajului Natural (NLP) în Python