Natural Language Processing (NLP) मूल बातें

spaCy के साथ Natural Language Processing

Azadeh Mobasher

Principal Data Scientist

Natural Language Processing (NLP)

Artificial Intelligence (AI) का एक सबफ़ील्ड
कंप्यूटरों को मानव भाषा समझने में मदद करता है
अनस्ट्रक्चर्ड डेटा से इनसाइट निकालने में मदद करता है
statistics, machine learning models और deep learning models को शामिल करता है

AI का एक सबफ़ील्ड के रूप में NLP

Sentiment analysis

Sentiment Analysis के उदाहरण

Named entity recognition (NER)

अनस्ट्रक्चर्ड टेक्स्ट में नेम्ड एंटिटीज़ ढूँढकर उन्हें प्री-डिफ़ाइंड कैटेगरी में वर्गीकृत करना
Named entities वास्तविक ऑब्जेक्ट होते हैं, जैसे व्यक्ति या स्थान

NER के उदाहरण

चैटबॉट्स

spaCy फ्री, ओपन-सोर्स NLP लाइब्रेरी है Python के लिए, जो:

spaCy और NLP

$ python3 pip install spacy

python3 -m spacy download en_core_web_sm
import spacy
nlp = spacy.load("en_core_web_sm")

spaCy के साथ टेक्स्ट प्रोसेसिंग

import spacy
nlp = spacy.load("en_core_web_sm")
text = "A spaCy pipeline object is created."
doc = nlp(text)

Tokenization
- Token टेक्स्ट का सबसे छोटा सार्थक हिस्सा होता है।
- Tokenization: टेक्स्ट को सार्थक टोकन्स की सूची में बाँटने की प्रक्रिया

print([token.text for token in doc])

['A', 'spaCy', 'pipeline', 'object', 'is', 'created', '.']

spaCy के साथ Natural Language Processing