Racinisation et lemmatisation
Analyse de sentiment en Python
Violeta Misheva
Data Scientist
Qu'est-ce que la racinisation ?
La racinisation transforme les mots en leur racine, même si cette racine n'est pas un mot valide dans la langue.
staying, stays, stayed ----> stay
house, houses, housing ----> hous
Qu'est-ce que la lemmatisation ?
La lemmatisation est semblable à la racinisation, mais elle ramène les mots à des formes de base qui sont de vrais mots dans la langue.
stay, stays, staying, stayed ----> stay
house, houses, housing ----> house
Racinisation vs lemmatisation
Racinisation
- Produit des racines de mots
- Rapide et peu coûteuse à calculer
Lemmatisation
- Produit de vrais mots
- Plus lente que la racinisation et peut dépendre de la catégorie grammaticale
Raciniser des chaînes
from nltk.stem import PorterStemmer
porter = PorterStemmer()
porter.stem('wonderful')
'wonder'
Raciniseurs pour d'autres langues
Snowball Stemmer : Danish, Dutch, English, Finnish, French, German, Hungarian, Italian, Norwegian, Portuguese, Romanian, Russian, Spanish, Swedish
from nltk.stem.snowball import SnowballStemmer
DutchStemmer = SnowballStemmer("dutch")
DutchStemmer.stem("beginnen")
'begin'
Comment raciniser une phrase ?
porter.stem('Today is a wonderful day!')
'today is a wonderful day!'
tokens = word_tokenize('Today is a wonderful day!')
stemmed_tokens = [porter.stem(token) for token in tokens]
stemmed_tokens
['today', 'is', 'a', 'wonder', 'day', '!']
Lemmatisation d'une chaîne
from nltk.stem import WordNetLemmatizer
WNlemmatizer = WordNetLemmatizer()
WNlemmatizer.lemmatize('wonderful', pos='a')
'wonderful'
Passons à la pratique !
Analyse de sentiment en Python
