Kök bulma ve gövdeleme
Python ile Duygu Analizi
Violeta Misheva
Data Scientist
Kök bulma nedir?
Kök bulma, sözcükleri dillerde geçerli olmasa bile kök biçimlerine indirgeme işlemidir.
staying, stays, stayed ----> stay
house, houses, housing ----> hous
Lemmatizasyon nedir?
Lemmatizasyon, kök bulmaya benzer; ancak sözcükleri dilde geçerli köklere indirger.
stay, stays, staying, stayed ----> stay
house, houses, housing ----> house
Kök bulma vs. lemmatizasyon
Kök bulma
- Sözcük köklerini üretir
- Hızlı ve hesaplama açısından verimlidir
Lemmatizasyon
- Gerçek sözcükler üretir
- Kök bulmadan daha yavaştır ve sözcük türüne bağlı olabilir
Dizgelerin kök bulması
from nltk.stem import PorterStemmer
porter = PorterStemmer()
porter.stem('wonderful')
'wonder'
İngilizce dışı kök bulucular
Snowball Stemmer: Danca, Felemenkçe, İngilizce, Fince, Fransızca, Almanca, Macarca, İtalyanca, Norveççe, Portekizce, Rumence, Rusça, İspanyolca, İsveççe
from nltk.stem.snowball import SnowballStemmer
DutchStemmer = SnowballStemmer("dutch")
DutchStemmer.stem("beginnen")
'begin'
Bir cümle nasıl köklenir?
porter.stem('Today is a wonderful day!')
'today is a wonderful day!'
tokens = word_tokenize('Today is a wonderful day!')
stemmed_tokens = [porter.stem(token) for token in tokens]
stemmed_tokens
['today', 'is', 'a', 'wonder', 'day', '!']
Bir dizgenin lemmatizasyonu
from nltk.stem import WordNetLemmatizer
WNlemmatizer = WordNetLemmatizer()
WNlemmatizer.lemmatize('wonderful', pos='a')
'wonderful'
Hadi pratik yapalım
Python ile Duygu Analizi
