Stemming và lemmatization
Phân tích cảm xúc với Python
Violeta Misheva
Data Scientist
Stemming là gì?
Stemming là việc đưa từ về dạng gốc, dù phần gốc có thể không phải từ hợp lệ trong ngôn ngữ.
staying, stays, stayed ----> stay
house, houses, housing ----> hous
Lemmatization là gì?
Lemmatization khá giống stemming nhưng khác ở chỗ nó đưa từ về gốc là các từ hợp lệ trong ngôn ngữ.
stay, stays, staying, stayed ----> stay
house, houses, housing ----> house
Stemming vs. lemmatization
Stemming
- Tạo gốc của từ
- Nhanh, tính toán hiệu quả
Lemmatization
- Tạo ra từ thực
- Chậm hơn stemming và có thể phụ thuộc vào loại từ (POS)
Stemming cho chuỗi
from nltk.stem import PorterStemmer
porter = PorterStemmer()
porter.stem('wonderful')
'wonder'
Stemmers cho ngôn ngữ khác tiếng Anh
Snowball Stemmer: Danish, Dutch, English, Finnish, French, German, Hungarian,Italian, Norwegian, Portuguese, Romanian, Russian, Spanish, Swedish
from nltk.stem.snowball import SnowballStemmer
DutchStemmer = SnowballStemmer("dutch")
DutchStemmer.stem("beginnen")
'begin'
Cách stem một câu?
porter.stem('Today is a wonderful day!')
'today is a wonderful day!'
tokens = word_tokenize('Today is a wonderful day!')
stemmed_tokens = [porter.stem(token) for token in tokens]
stemmed_tokens
['today', 'is', 'a', 'wonder', 'day', '!']
Lemmatization cho chuỗi
from nltk.stem import WordNetLemmatizer
WNlemmatizer = WordNetLemmatizer()
WNlemmatizer.lemmatize('wonderful', pos='a')
'wonderful'
Ayo berlatih!
Phân tích cảm xúc với Python
