Tokenizacja i lematyzacja

Inżynieria cech dla NLP w Pythonie

Rounak Banik

Data Scientist

Źródła tekstu

Artykuły prasowe
Tweety
Komentarze

Dostosowanie tekstu do przetwarzania maszynowego

Dogs, dog
reduction, REDUCING, Reduce
don't, do not
won't, will not

Techniki przetwarzania tekstu

Zamiana liter na małe
Usuwanie spacji na początku i końcu
Usuwanie znaków interpunkcyjnych
Usuwanie stop słów
Rozwijanie skrótów
Usuwanie znaków specjalnych (cyfry, emoji itp.)

Tokenizacja

"I have a dog. His name is Hachi."

Tokeny:

["I", "have", "a", "dog", ".", "His", "name", "is", "Hachi", "."]

"Don't do this."

Tokeny:

["Do", "n't", "do", "this", "."]

Tokenizacja z użyciem spaCy

import spacy

# Load the en_core_web_sm model
nlp = spacy.load('en_core_web_sm')

# Initiliaze string
string = "Hello! I don't know what I'm doing here."

# Create a Doc object
doc = nlp(string)

# Generate list of tokens
tokens = [token.text for token in doc]
print(tokens)

['Hello','!','I','do',"n't",'know','what','I',"'m",'doing','here','.']

Lematyzacja

Przekształcenie słowa do formy podstawowej
- reducing, reduces, reduced, reduction → reduce
- am, are, is → be
- n't → not
- 've → have

Lematyzacja z użyciem spaCy

import spacy

# Load the en_core_web_sm model
nlp = spacy.load('en_core_web_sm')
# Initiliaze string
string = "Hello! I don't know what I'm doing here."
# Create a Doc object
doc = nlp(string)


# Generate list of lemmas
lemmas = [token.lemma_ for token in doc]
print(lemmas)

['hello','!','-PRON-','do','not','know','what','-PRON','be','do','here', '.']

Czas na ćwiczenia!

Inżynieria cech dla NLP w Pythonie