Introduction à l'ingénierie des caractéristiques en TAL

Ingénierie des caractéristiques pour le NLP en Python

Rounak Banik

Data Scientist

Données numériques

Jeu de données Iris

longueur du sépale	largeur du sépale	longueur du pétale	largeur du pétale	classe
6.3	2.9	5.6	1.8	Iris-virginica
4.9	3.0	1.4	0.2	Iris-setosa
5.6	2.9	3.6	1.3	Iris-versicolor
6.0	2.7	5.1	1.6	Iris-versicolor
7.2	3.6	6.1	2.5	Iris-virginica

Encodage one-hot

sexe
femme
homme
femme
homme
femme
...

Encodage one-hot

sexe	encodage one-hot
femme	→
homme	→
femme	→
homme	→
femme	→
...	...

Encodage one-hot

sexe	encodage one-hot	sexe_femme	sexe_homme
femme	→	1	0
homme	→	0	1
femme	→	1	0
homme	→	0	1
femme	→	1	0
...	...	...	...

Encodage one-hot avec pandas

# Import the pandas library
import pandas as pd


# Perform one-hot encoding on the 'sex' feature of df
df = pd.get_dummies(df, columns=['sex'])

Données textuelles

Jeu de données de critiques de films

critique	classe
This movie is for dog lovers. A very poignant...	positive
The movie is forgettable. The plot lacked...	negative
A truly amazing movie about dogs. A gripping...	positive

Prétraitement du texte

• Mettre en minuscules
  • Exemple : Reduction → reduction
• Ramener à la forme de base
  • Exemple : reduction → reduce

Vectorisation

critique	classe
This movie is for dog lovers. A very poignant...	positive
The movie is forgettable. The plot lacked...	negative
A truly amazing movie about dogs. A gripping...	positive

Vectorisation

0	1	2	...	n	classe
0.03	0.71	0.00	...	0.22	positive
0.45	0.00	0.03	...	0.19	negative
0.14	0.18	0.00	...	0.45	positive

Caractéristiques de base

• Nombre de mots
• Nombre de caractères
• Longueur moyenne des mots
• Gazouillis

Étiquetage morpho-syntaxique (POS)

Mot	Cat. grammat.
I	Pronom
have	Verbe
a	Article
dog	Nom

Reconnaissance d'entités nommées

• Le nom renvoie-t-il à une personne, une organisation ou un pays ?

Nom	ERN
Brian	Personne
DataCamp	Organisation

Concepts abordés

• Prétraitement du texte
• Caractéristiques de base
• Caractéristiques de mots
• Vectorisation

Passons à la pratique !

Ingénierie des caractéristiques pour le NLP en Python