Introducere în ingineria caracteristicilor NLP

Ingineria caracteristicilor pentru NLP în Python

Rounak Banik

Data Scientist

Date numerice

Setul de date Iris

sepal length sepal width petal length petal width class
6.3 2.9 5.6 1.8 Iris-virginica
4.9 3.0 1.4 0.2 Iris-setosa
5.6 2.9 3.6 1.3 Iris-versicolor
6.0 2.7 5.1 1.6 Iris-versicolor
7.2 3.6 6.1 2.5 Iris-virginica
Ingineria caracteristicilor pentru NLP în Python

Codificare one-hot

sex
female
male
female
male
female
...
Ingineria caracteristicilor pentru NLP în Python

Codificare one-hot

sex one-hot encoding
female →
male →
female →
male →
female →
... ...
Ingineria caracteristicilor pentru NLP în Python

Codificare one-hot

sex one-hot encoding sex_female sex_male
female → 1 0
male → 0 1
female → 1 0
male → 0 1
female → 1 0
... ... ... ...
Ingineria caracteristicilor pentru NLP în Python

Codificare one-hot cu pandas

# Import the pandas library
import pandas as pd


# Perform one-hot encoding on the 'sex' feature of df
df = pd.get_dummies(df, columns=['sex'])
Ingineria caracteristicilor pentru NLP în Python

Date textuale

Setul de date cu recenzii de filme

review class
This movie is for dog lovers. A very poignant... positive
The movie is forgettable. The plot lacked... negative
A truly amazing movie about dogs. A gripping... positive
Ingineria caracteristicilor pentru NLP în Python

Preprocesarea textului

  • Conversie la litere mici
    • Exemplu: Reduction la reduction
  • Conversie la forma de bază
    • Exemplu: reduction la reduce
Ingineria caracteristicilor pentru NLP în Python

Vectorizare

review class
This movie is for dog lovers. A very poignant... positive
The movie is forgettable. The plot lacked... negative
A truly amazing movie about dogs. A gripping... positive
Ingineria caracteristicilor pentru NLP în Python

Vectorizare

0 1 2 ... n class
0.03 0.71 0.00 ... 0.22 positive
0.45 0.00 0.03 ... 0.19 negative
0.14 0.18 0.00 ... 0.45 positive
Ingineria caracteristicilor pentru NLP în Python

Caracteristici de bază

  • Număr de cuvinte
  • Număr de caractere
  • Lungimea medie a cuvintelor
  • Tweet-uri

Tweet Silverado Records

Ingineria caracteristicilor pentru NLP în Python

Etichetare POS

Word POS
I Pronoun
have Verb
a Article
dog Noun
Ingineria caracteristicilor pentru NLP în Python

Recunoașterea entităților denumite

  • Substantivul se referă la o persoană, organizație sau țară?

O persoană, steagul unei țări și sigla TED

Noun NER
Brian Person
DataCamp Organization
Ingineria caracteristicilor pentru NLP în Python

Concepte acoperite

  • Preprocesarea textului
  • Caracteristici de bază
  • Caracteristici de tip cuvânt
  • Vectorizare
Ingineria caracteristicilor pentru NLP în Python

Să exersăm!

Ingineria caracteristicilor pentru NLP în Python

Preparing Video For Download...