Token classification

Python में Natural Language Processing (NLP)

Fouad Trad

Machine Learning Engineer

Text versus token classification

टेक्स्ट क्लासिफिकेशन

पूरी वाक्य या टेक्स्ट की जोड़ी को वर्गीकृत करता है

टेक्स्ट क्लासिफिकेशन और QNLI के कार्य, जैसा पिछले वीडियो में दिखाया गया था।

Text versus token classification

टेक्स्ट क्लासिफिकेशन

पूरी वाक्य या टेक्स्ट की जोड़ी को वर्गीकृत करता है

टेक्स्ट क्लासिफिकेशन और QNLI के कार्य, जैसा पिछले वीडियो में दिखाया गया था।

टोकन क्लासिफिकेशन

वाक्य के भीतर टोकनों को लेबल देता है

एक वाक्य शब्दों में बँटा हुआ, हर शब्द अलग रंग से, अलग क्लास दर्शाते हुए।

नेम्ड एंटिटी रिकग्निशन (NER)
पार्ट-ऑफ-स्पीच (PoS) टैगिंग

नेम्ड एंटिटी रिकग्निशन (NER)

नाम, स्थान, संगठन, तारीखें आदि जैसी एंटिटीज़ पहचानता है

वाक्य "Apple opened a new office in Toronto in March 2023" का NER विश्लेषण, जहाँ Apple संगठन, Toronto स्थान, और March 2023 तारीख के रूप में पहचाने गए हैं।

उपयोगी है:
- सूचना पुनर्प्राप्ति
- प्रश्नोत्तर

कोड में NER

from transformers import pipeline

ner_pipeline = pipeline(task="ner",

                        model="dslim/bert-base-NER",

                        grouped_entities=True)


ner_results = ner_pipeline("Zara Venn established NovaCore Dynamics in London.")

print(ner_results)

[{'entity_group': 'PER', 'score': np.float32(0.99840075), 'word': 'Zara Venn', 'start': 0, 'end': 9}, 
 {'entity_group': 'ORG', 'score': np.float32(0.99875560), 'word': 'NovaCore Dynamics', 'start': 21, 'end': 38}, 
 {'entity_group': 'LOC', 'score': np.float32(0.99960726), 'word': 'London', 'start': 42, 'end': 48}]

पार्ट-ऑफ-स्पीच (PoS) टैगिंग

हर शब्द को व्याकरणिक भूमिका (संज्ञा, क्रिया, विशेषण) सौंपता है

वाक्य "The quick fox jumps over the lazy dog" के PoS टैग, जहाँ "the" determiner है, "quick" और "lazy" adjectives हैं, "fox" और "dogs" nouns हैं, "jumps" verb है, और "over" preposition है।

उपयोगी है:
- सिंटैक्टिक पार्सिंग
- ग्रामर करेक्शन
- टेक्स्ट जनरेशन

कोड में PoS टैगिंग

pos_pipeline = pipeline(task="token-classification",

                        model="vblagoje/bert-english-uncased-finetuned-pos",

                        grouped_entities=True)


pos_results = pos_pipeline("Zara Venn established NovaCore Dynamics in London.")
print(pos_results)

[{'entity_group': 'PROPN', 'score': np.float32(0.9982983), 'word': 'zara venn', 'start': 0, 'end': 9},  
 {'entity_group': 'VERB', 'score': np.float32(0.99940944), 'word': 'established', 'start': 10, 'end': 21},  
 {'entity_group': 'PROPN', 'score': np.float32(0.99455726), 'word': 'novacore dynamics', 'start': 22, 'end': 39},  
 {'entity_group': 'ADP', 'score': np.float32(0.99935526), 'word': 'in', 'start': 40, 'end': 42},  
 {'entity_group': 'PROPN', 'score': np.float32(0.99847955), 'word': 'london', 'start': 43, 'end': 49}]

अभ्यास करते हैं!

Python में Natural Language Processing (NLP)