Tokenizace a lemmatizace

Feature Engineering for NLP in Python

Rounak Banik

Data Scientist

Zdroje textu

Zpravodajské články
Tweety
Komentáře

Text přizpůsobený strojovému zpracování

Dogs, dog
reduction, REDUCING, Reduce
don't, do not
won't, will not

Techniky předzpracování textu

Převod slov na malá písmena
Odstranění mezer na začátku a konci
Odstranění interpunkce
Odstranění stop slov
Rozvinutí stažených tvarů
Odstranění speciálních znaků (čísla, emoji atd.)

Tokenizace

"I have a dog. His name is Hachi."

Tokeny:

["I", "have", "a", "dog", ".", "His", "name", "is", "Hachi", "."]

"Don't do this."

Tokeny:

["Do", "n't", "do", "this", "."]

Tokenizace pomocí spaCy

import spacy

# Load the en_core_web_sm model
nlp = spacy.load('en_core_web_sm')

# Initiliaze string
string = "Hello! I don't know what I'm doing here."

# Create a Doc object
doc = nlp(string)

# Generate list of tokens
tokens = [token.text for token in doc]
print(tokens)

['Hello','!','I','do',"n't",'know','what','I',"'m",'doing','here','.']

Lemmatizace

Převod slova do základního tvaru
- reducing, reduces, reduced, reduction → reduce
- am, are, is → be
- n't → not
- 've → have

Lemmatizace pomocí spaCy

import spacy

# Load the en_core_web_sm model
nlp = spacy.load('en_core_web_sm')
# Initiliaze string
string = "Hello! I don't know what I'm doing here."
# Create a Doc object
doc = nlp(string)


# Generate list of lemmas
lemmas = [token.lemma_ for token in doc]
print(lemmas)

['hello','!','-PRON-','do','not','know','what','-PRON','be','do','here', '.']

Pojďme si procvičit!

Feature Engineering for NLP in Python