Вступ до інженерії ознак у NLP

Інженерія ознак для NLP у Python

Rounak Banik

Data Scientist

Числові дані

Набір даних Iris

довжина чашолистка	ширина чашолистка	довжина пелюстки	ширина пелюстки	клас
6.3	2.9	5.6	1.8	Iris-virginica
4.9	3.0	1.4	0.2	Iris-setosa
5.6	2.9	3.6	1.3	Iris-versicolor
6.0	2.7	5.1	1.6	Iris-versicolor
7.2	3.6	6.1	2.5	Iris-virginica

One-hot кодування

стать
female
male
female
male
female
...

One-hot кодування

стать	one-hot кодування
female	→
male	→
female	→
male	→
female	→
...	...

One-hot кодування

стать	one-hot кодування	sex_female	sex_male
female	→	1	0
male	→	0	1
female	→	1	0
male	→	0	1
female	→	1	0
...	...	...	...

One-hot кодування в pandas

# Імпортуйте бібліотеку pandas
import pandas as pd


# Виконайте one-hot кодування ознаки 'sex' у df
df = pd.get_dummies(df, columns=['sex'])

Текстові дані

Набір даних рецензій на фільми

review	class
This movie is for dog lovers. A very poignant...	positive
The movie is forgettable. The plot lacked...	negative
A truly amazing movie about dogs. A gripping...	positive

Попередня обробка тексту

• Перетворення на нижній регістр
  • Приклад: Reduction → reduction
• Зведення до базової форми
  • Приклад: reduction → reduce

Векторизація

review	class
This movie is for dog lovers. A very poignant...	positive
The movie is forgettable. The plot lacked...	negative
A truly amazing movie about dogs. A gripping...	positive

Векторизація

0	1	2	...	n	class
0.03	0.71	0.00	...	0.22	positive
0.45	0.00	0.03	...	0.19	negative
0.14	0.18	0.00	...	0.45	positive

Базові ознаки

• Кількість слів
• Кількість символів
• Середня довжина слів
• Твіти

POS-розмічання

Word	POS
I	Pronoun
have	Verb
a	Article
dog	Noun

Розпізнавання іменованих сутностей

• Чи позначає іменник особу, організацію або країну?

Noun	NER
Brian	Person
DataCamp	Organization

Розглянуті поняття

• Попередня обробка тексту
• Базові ознаки
• Ознаки слів
• Векторизація

Давайте потренуємось!

Інженерія ознак для NLP у Python