Токенізація та лематизація

Інженерія ознак для NLP у Python

Rounak Banik

Data Scientist

Джерела тексту

Новинні статті
Твіти
Коментарі

Робимо текст зручним для машин

Dogs, dog
reduction, REDUCING, Reduce
don't, do not
won't, will not

Прийоми попередньої обробки тексту

Перетворення слів на нижній регістр
Видалення пробілів на початку й у кінці
Видалення пунктуації
Видалення стопслів
Розгортання скорочень
Видалення спецсимволів (цифри, емодзі тощо)

Токенізація

"I have a dog. His name is Hachi."

Токени:

["I", "have", "a", "dog", ".", "His", "name", "is", "Hachi", "."]

"Don't do this."

Токени:

["Do", "n't", "do", "this", "."]

Токенізація у spaCy

import spacy

# Load the en_core_web_sm model
nlp = spacy.load('en_core_web_sm')

# Initiliaze string
string = "Hello! I don't know what I'm doing here."

# Create a Doc object
doc = nlp(string)

# Generate list of tokens
tokens = [token.text for token in doc]
print(tokens)

['Hello','!','I','do',"n't",'know','what','I',"'m",'doing','here','.']

Лематизація

Перетворення слова на базову форму
- reducing, reduces, reduced, reduction → reduce
- am, are, is → be
- n't → not
- 've → have

Лематизація у spaCy

import spacy

# Load the en_core_web_sm model
nlp = spacy.load('en_core_web_sm')
# Initiliaze string
string = "Hello! I don't know what I'm doing here."
# Create a Doc object
doc = nlp(string)


# Generate list of lemmas
lemmas = [token.lemma_ for token in doc]
print(lemmas)

['hello','!','-PRON-','do','not','know','what','-PRON','be','do','here', '.']

Давайте потренуємось!

Інженерія ознак для NLP у Python