Úvod do extrakce příznaků NLP

Feature Engineering for NLP in Python

Rounak Banik

Data Scientist

Numerická data

Dataset Iris

délka kalichu	šířka kalichu	délka okvětního lístku	šířka okvětního lístku	třída
6.3	2.9	5.6	1.8	Iris-virginica
4.9	3.0	1.4	0.2	Iris-setosa
5.6	2.9	3.6	1.3	Iris-versicolor
6.0	2.7	5.1	1.6	Iris-versicolor
7.2	3.6	6.1	2.5	Iris-virginica

One-hot kódování

pohlaví
žena
muž
žena
muž
žena
...

One-hot kódování

pohlaví	one-hot kódování
žena	→
muž	→
žena	→
muž	→
žena	→
...	...

One-hot kódování

pohlaví	one-hot kódování	sex_female	sex_male
žena	→	1	0
muž	→	0	1
žena	→	1	0
muž	→	0	1
žena	→	1	0
...	...	...	...

One-hot kódování v pandas

# Import the pandas library
import pandas as pd


# Perform one-hot encoding on the 'sex' feature of df
df = pd.get_dummies(df, columns=['sex'])

Textová data

Dataset filmových recenzí

recenze	třída
This movie is for dog lovers. A very poignant...	positive
The movie is forgettable. The plot lacked...	negative
A truly amazing movie about dogs. A gripping...	positive

Předzpracování textu

• Převod na malá písmena
  • Příklad: Reduction na reduction
• Převod na základní tvar
  • Příklad: reduction na reduce

Vektorizace

recenze	třída
This movie is for dog lovers. A very poignant...	positive
The movie is forgettable. The plot lacked...	negative
A truly amazing movie about dogs. A gripping...	positive

Vektorizace

0	1	2	...	n	třída
0.03	0.71	0.00	...	0.22	positive
0.45	0.00	0.03	...	0.19	negative
0.14	0.18	0.00	...	0.45	positive

Základní příznaky

• Počet slov
• Počet znaků
• Průměrná délka slov
• Tweety

Určování slovních druhů

Slovo	Slovní druh
I	Zájmeno
have	Sloveso
a	Člen
dog	Podstatné jméno

Rozpoznávání pojmenovaných entit

• Odkazuje podstatné jméno na osobu, organizaci nebo zemi?

Podstatné jméno	NER
Brian	Osoba
DataCamp	Organizace

Probraná témata

• Předzpracování textu
• Základní příznaky
• Slovní příznaky
• Vektorizace

Pojďme si procvičit!

Feature Engineering for NLP in Python