Giới thiệu kỹ thuật đặc trưng NLP

Khai thác đặc trưng cho NLP bằng Python

Rounak Banik

Data Scientist

Dữ liệu số

Bộ dữ liệu Iris

sepal length	sepal width	petal length	petal width	class
6.3	2.9	5.6	1.8	Iris-virginica
4.9	3.0	1.4	0.2	Iris-setosa
5.6	2.9	3.6	1.3	Iris-versicolor
6.0	2.7	5.1	1.6	Iris-versicolor
7.2	3.6	6.1	2.5	Iris-virginica

Mã hóa one-hot

sex
female
male
female
male
female
...

Mã hóa one-hot

sex	one-hot encoding
female	→
male	→
female	→
male	→
female	→
...	...

Mã hóa one-hot

sex	one-hot encoding	sex_female	sex_male
female	→	1	0
male	→	0	1
female	→	1	0
male	→	0	1
female	→	1	0
...	...	...	...

Mã hóa one-hot với pandas

# Import the pandas library
import pandas as pd


# Perform one-hot encoding on the 'sex' feature of df
df = pd.get_dummies(df, columns=['sex'])

Dữ liệu văn bản

Bộ dữ liệu đánh giá phim

review	class
This movie is for dog lovers. A very poignant...	positive
The movie is forgettable. The plot lacked...	negative
A truly amazing movie about dogs. A gripping...	positive

Tiền xử lý văn bản

• Chuyển về chữ thường
  • Ví dụ: Reduction → reduction
• Chuyển về dạng gốc
  • Ví dụ: reduction → reduce

Vector hóa

review	class
This movie is for dog lovers. A very poignant...	positive
The movie is forgettable. The plot lacked...	negative
A truly amazing movie about dogs. A gripping...	positive

Vector hóa

0	1	2	...	n	class
0.03	0.71	0.00	...	0.22	positive
0.45	0.00	0.03	...	0.19	negative
0.14	0.18	0.00	...	0.45	positive

Đặc trưng cơ bản

• Số từ
• Số ký tự
• Độ dài từ trung bình
• Tweet

Gán nhãn từ loại (POS)

Word	POS
I	Pronoun
have	Verb
a	Article
dog	Noun

Nhận dạng thực thể có tên (NER)

• Danh từ chỉ người, tổ chức hay quốc gia?

Noun	NER
Brian	Person
DataCamp	Organization

Nội dung đã học

• Tiền xử lý văn bản
• Đặc trưng cơ bản
• Đặc trưng từ
• Vector hóa

Ayo berlatih!

Khai thác đặc trưng cho NLP bằng Python