Wprowadzenie do inżynierii cech NLP

Inżynieria cech dla NLP w Pythonie

Rounak Banik

Data Scientist

Dane liczbowe

Zbiór danych Iris

sepal length	sepal width	petal length	petal width	class
6.3	2.9	5.6	1.8	Iris-virginica
4.9	3.0	1.4	0.2	Iris-setosa
5.6	2.9	3.6	1.3	Iris-versicolor
6.0	2.7	5.1	1.6	Iris-versicolor
7.2	3.6	6.1	2.5	Iris-virginica

Kodowanie one-hot

sex
female
male
female
male
female
...

Kodowanie one-hot

sex	one-hot encoding
female	→
male	→
female	→
male	→
female	→
...	...

Kodowanie one-hot

sex	one-hot encoding	sex_female	sex_male
female	→	1	0
male	→	0	1
female	→	1	0
male	→	0	1
female	→	1	0
...	...	...	...

Kodowanie one-hot w pandas

# Import the pandas library
import pandas as pd


# Perform one-hot encoding on the 'sex' feature of df
df = pd.get_dummies(df, columns=['sex'])

Dane tekstowe

Zbiór recenzji filmów

review	class
This movie is for dog lovers. A very poignant...	positive
The movie is forgettable. The plot lacked...	negative
A truly amazing movie about dogs. A gripping...	positive

Wstępne przetwarzanie tekstu

• Konwersja na małe litery
  • Przykład: Reduction → reduction
• Konwersja do formy podstawowej
  • Przykład: reduction → reduce

Wektoryzacja

review	class
This movie is for dog lovers. A very poignant...	positive
The movie is forgettable. The plot lacked...	negative
A truly amazing movie about dogs. A gripping...	positive

Wektoryzacja

0	1	2	...	n	class
0.03	0.71	0.00	...	0.22	positive
0.45	0.00	0.03	...	0.19	negative
0.14	0.18	0.00	...	0.45	positive

Podstawowe cechy

• Liczba słów
• Liczba znaków
• Średnia długość słów
• Tweety

Tagowanie POS

Słowo	Część mowy
I	Zaimek
have	Czasownik
a	Rodzajnik
dog	Rzeczownik

Rozpoznawanie nazwanych jednostek

• Czy rzeczownik odnosi się do osoby, organizacji czy kraju?

Rzeczownik	NER
Brian	Osoba
DataCamp	Organizacja

Omówione zagadnienia

• Wstępne przetwarzanie tekstu
• Podstawowe cechy
• Cechy słowne
• Wektoryzacja

Czas na ćwiczenia!

Inżynieria cech dla NLP w Pythonie