Tokenisation et lemmatisation

Ingénierie des caractéristiques pour le NLP en Python

Rounak Banik

Data Scientist

Sources de texte

Articles de presse
Tweets
Commentaires

Rendre le texte exploitable par la machine

Dogs, dog
reduction, REDUCING, Reduce
don't, do not
won't, will not

Techniques de prétraitement du texte

Mettre les mots en minuscules
Retirer les espaces en début et fin
Retirer la ponctuation
Retirer les mots vides
Développer les contractions
Retirer les caractères spéciaux (chiffres, émojis, etc.)

Tokenisation

"I have a dog. His name is Hachi."

Jetons :

["I", "have", "a", "dog", ".", "His", "name", "is", "Hachi", "."]

"Don't do this."

Jetons :

["Do", "n't", "do", "this", "."]

Tokenisation avec spaCy

import spacy

# Load the en_core_web_sm model
nlp = spacy.load('en_core_web_sm')

# Initiliaze string
string = "Hello! I don't know what I'm doing here."

# Create a Doc object
doc = nlp(string)

# Generate list of tokens
tokens = [token.text for token in doc]
print(tokens)

['Hello','!','I','do',"n't",'know','what','I',"'m",'doing','here','.']

Lemmatisation

Convertir un mot en sa forme de base
- reducing, reduces, reduced, reduction → reduce
- am, are, is → be
- n't → not
- 've → have

Lemmatisation avec spaCy

import spacy

# Load the en_core_web_sm model
nlp = spacy.load('en_core_web_sm')
# Initiliaze string
string = "Hello! I don't know what I'm doing here."
# Create a Doc object
doc = nlp(string)


# Generate list of lemmas
lemmas = [token.lemma_ for token in doc]
print(lemmas)

['hello','!','-PRON-','do','not','know','what','-PRON','be','do','here', '.']

Passons à la pratique !

Ingénierie des caractéristiques pour le NLP en Python