Introduktion till NLP-särdragskonstruktion

Funktionsutveckling för NLP i Python

Rounak Banik

Data Scientist

Numeriska data

Iris-datamängden

sepalens längd	sepalens bredd	kronbladets längd	kronbladets bredd	klass
6,3	2,9	5,6	1,8	Iris-virginica
4,9	3,0	1,4	0,2	Iris-setosa
5,6	2,9	3,6	1,3	Iris-versicolor
6,0	2,7	5,1	1,6	Iris-versicolor
7,2	3,6	6,1	2,5	Iris-virginica

One-hot-kodning

kön
kvinna
man
kvinna
man
kvinna
...

One-hot-kodning

kön	one-hot-kodning
kvinna	→
man	→
kvinna	→
man	→
kvinna	→
...	...

One-hot-kodning

kön	one-hot-kodning	sex_female	sex_male
kvinna	→	1	0
man	→	0	1
kvinna	→	1	0
man	→	0	1
kvinna	→	1	0
...	...	...	...

One-hot-kodning med pandas

# Import the pandas library
import pandas as pd


# Perform one-hot encoding on the 'sex' feature of df
df = pd.get_dummies(df, columns=['sex'])

Textdata

Filmrecensiondatamängd

recension	klass
Den här filmen är för hundälskare. En mycket gripande...	positiv
Filmen är glömbar. Handlingen saknade...	negativ
En verkligt fantastisk film om hundar. En spännande...	positiv

Textförbehandling

• Konvertering till gemener
  • Exempel: Reduction till reduction
• Konvertering till grundform
  • Exempel: reduction till reduce

Vektorisering

recension	klass
Den här filmen är för hundälskare. En mycket gripande...	positiv
Filmen är glömbar. Handlingen saknade...	negativ
En verkligt fantastisk film om hundar. En spännande...	positiv

Vektorisering

0	1	2	...	n	klass
0,03	0,71	0,00	...	0,22	positiv
0,45	0,00	0,03	...	0,19	negativ
0,14	0,18	0,00	...	0,45	positiv

Grundläggande särdrag

• Antal ord
• Antal tecken
• Genomsnittlig ordlängd
• Tweets

POS-taggning

Ord	Ordklass
I	Pronomen
have	Verb
a	Artikel
dog	Substantiv

Namngiven entitetsigenkänning

• Avser substantivet en person, organisation eller ett land?

Substantiv	NER
Brian	Person
DataCamp	Organisation

Genomgångna koncept

• Textförbehandling
• Grundläggande särdrag
• Ordsärdrag
• Vektorisering

Nu kör vi en övning!

Funktionsutveckling för NLP i Python