Prétraitement des données

Réseaux de neurones récurrents (RNN) pour la modélisation du langage avec Keras

David Cecchini

Data Scientist

Classification de texte

Applications de la classification de texte :

Classement automatique des nouvelles
Classification de documents pour les entreprises
Segmentation des files pour le soutien à la clientèle
Et bien plus encore !

Différences avec la classification binaire

Ce qui change du binaire au multiclasse :

Forme de la variable de sortie y
Nombre d'unités dans la couche de sortie
Fonction d'activation de la couche de sortie
Fonction de perte

Différences avec la classification binaire

Forme de la variable de sortie y :

Encodage one-hot des classes

# Example: num_classes = 3
y[0] = [0, 1, 0]
y.shape = (N, num_classes)

Nombre d'unités dans la couche de sortie :

# Output layer
model.add(Dense(num_classes))

Différences avec la classification binaire

Différence entre des nombres sur une ligne et dans l'espace, illustrant l'encodage one-hot

Différences avec la classification binaire

Fonction d'activation de la couche de sortie :

softmax donne la probabilité de chaque classe

# Output layer
model.add(Dense(num_classes, activation="softmax"))

Fonction de perte :

Au lieu du binaire, on utilise l'entropie croisée catégorielle

# Compile the model
model.compile(loss='categorical_crossentropy')

Préparer les catégories de texte pour keras

y = ["sports", "economy", "data_science", "sports", "finance"]
# Transform to pandas series object
y_series = pd.Series(y, dtype="category")

# Print the category codes
print(y_series.cat.codes)

Prétraiter y

from tensorflow.keras.utils import to_categorical

y = np.array([0, 1, 2])

# Convertir en catégoriel
y_prep = to_categorical(y)
print(y_prep)

[[1. 0. 0.]
 [0. 1. 0.]
 [0. 0. 1.]]

Passons à la pratique !

Réseaux de neurones récurrents (RNN) pour la modélisation du langage avec Keras