Токенизация и лемматизация

Конструирование признаков для NLP на Python

Rounak Banik

Data Scientist

Источники текста

Новостные статьи
Твиты
Комментарии

Приведение текста к машинно-читаемому виду

Dogs, dog
reduction, REDUCING, Reduce
don't, do not
won't, will not

Методы предобработки текста

Приведение слов к нижнему регистру
Удаление пробелов в начале и конце строки
Удаление знаков препинания
Удаление стоп-слов
Раскрытие сокращений
Удаление специальных символов (цифр, эмодзи и др.)

Токенизация

"I have a dog. His name is Hachi."

Токены:

["I", "have", "a", "dog", ".", "His", "name", "is", "Hachi", "."]

"Don't do this."

Токены:

["Do", "n't", "do", "this", "."]

Токенизация с помощью spaCy

import spacy

# Load the en_core_web_sm model
nlp = spacy.load('en_core_web_sm')

# Initiliaze string
string = "Hello! I don't know what I'm doing here."

# Create a Doc object
doc = nlp(string)

# Generate list of tokens
tokens = [token.text for token in doc]
print(tokens)

['Hello','!','I','do',"n't",'know','what','I',"'m",'doing','here','.']

Лемматизация

Приведение слова к его базовой форме
- reducing, reduces, reduced, reduction → reduce
- am, are, is → be
- n't → not
- 've → have

Лемматизация с помощью spaCy

import spacy

# Load the en_core_web_sm model
nlp = spacy.load('en_core_web_sm')
# Initiliaze string
string = "Hello! I don't know what I'm doing here."
# Create a Doc object
doc = nlp(string)


# Generate list of lemmas
lemmas = [token.lemma_ for token in doc]
print(lemmas)

['hello','!','-PRON-','do','not','know','what','-PRON','be','do','here', '.']

Давайте потренируемся!

Конструирование признаков для NLP на Python