स्टेमिंग और लैम्माटाइज़ेशन
Python में Sentiment Analysis
Violeta Misheva
Data Scientist
स्टेमिंग क्या है?
स्टेमिंग वह प्रक्रिया है जिसमें शब्दों को उनके मूल रूप तक बदला जाता है, भले ही निकला हुआ स्टेम भाषा में वैध शब्द न हो.
staying, stays, stayed ----> stay
house, houses, housing ----> hous
लैम्माटाइज़ेशन क्या है?
लैम्माटाइज़ेशन स्टेमिंग जैसा ही है, पर यह शब्दों को ऐसे मूल रूप में बदलता है जो भाषा में वैध शब्द होते हैं.
stay, stays, staying, stayed ----> stay
house, houses, housing ----> house
स्टेमिंग बनाम लैम्माटाइज़ेशन
Stemming
- शब्दों के मूल रूप देता है
- तेज़ और कंप्यूट करने में कुशल
Lemmatization
- वास्तविक शब्द देता है
- स्टेमिंग से धीमा और part-of-speech पर निर्भर हो सकता है
स्ट्रिंग्स की स्टेमिंग
from nltk.stem import PorterStemmer
porter = PorterStemmer()
porter.stem('wonderful')
'wonder'
नॉन-इंग्लिश स्टेमर्स
Snowball Stemmer: Danish, Dutch, English, Finnish, French, German, Hungarian, Italian, Norwegian, Portuguese, Romanian, Russian, Spanish, Swedish
from nltk.stem.snowball import SnowballStemmer
DutchStemmer = SnowballStemmer("dutch")
DutchStemmer.stem("beginnen")
'begin'
एक वाक्य को कैसे स्टेम करें?
porter.stem('Today is a wonderful day!')
'today is a wonderful day!'
tokens = word_tokenize('Today is a wonderful day!')
stemmed_tokens = [porter.stem(token) for token in tokens]
stemmed_tokens
['today', 'is', 'a', 'wonder', 'day', '!']
स्ट्रिंग का लैम्माटाइज़ेशन
from nltk.stem import WordNetLemmatizer
WNlemmatizer = WordNetLemmatizer()
WNlemmatizer.lemmatize('wonderful', pos='a')
'wonderful'
अभ्यास करते हैं!
Python में Sentiment Analysis
