Somiglianza tra domande e correttezza grammaticale

Natural Language Processing (NLP) in Python

Fouad Trad

Machine Learning Engineer

Somiglianza tra domande

Riconosce quando due domande sono parafrasi
Utile per:
- Deduplicazione
- Raggruppare domande simili
- Migliorare la ricerca
Con modelli addestrati sul dataset Quora Question Pairs (QQP)

Immagine con tre persone che fanno domande.

Pipeline QQP

from transformers import pipeline

qqp_pipeline = pipeline(
    task="text-classification", 
    model="textattack/bert-base-uncased-QQP"
    )

question1 = "How can I learn Python?"
question2 = "What is the best way to study Python?"

result = qqp_pipeline({"text": question1, "text_pair": question2})

print(result)

{'label': 'LABEL_1', 'score': 0.6853412985801697}

Pipeline QQP

from transformers import pipeline
qqp_pipeline = pipeline(
    task="text-classification", 
    model="textattack/bert-base-uncased-QQP"
    )
question1 = "How can I learn Python?"
question2 = "What is the capital of France?"
result = qqp_pipeline({"text": question1, "text_pair": question2})
print(result)

{'label': 'LABEL_0', 'score': 0.9999338388442993}

Valutare la correttezza grammaticale

Valuta quanto un testo è grammaticalmente corretto
Utile per:
- Strumenti educativi
- Correttori grammaticali
- Assistenti di scrittura
Con modelli addestrati sul dataset Corpus of Linguistic Acceptability (CoLA)

Immagine di una persona che valuta la correttezza di un testo scritto.

Pipeline CoLA

from transformers import pipeline
cola_classifier = pipeline(
  task="text-classification", 
  model="textattack/distilbert-base-uncased-CoLA"
)

result = cola_classifier("The cat sat on the mat.")

print(result)

[{'label': 'LABEL_1', 'score': 0.9918296933174133}]

Pipeline CoLA

from transformers import pipeline
cola_classifier = pipeline(
  task="text-classification", 
  model="textattack/distilbert-base-uncased-CoLA"
)
result = cola_classifier("The cat on sat mat the.")
print(result)

[{'label': 'LABEL_0', 'score': 0.9628171324729919}]

Passiamo alla pratica!

Natural Language Processing (NLP) in Python