La fonction de génération de texte

Réseaux de neurones récurrents (RNN) pour la modélisation du langage avec Keras

David Cecchini

Data Scientist

Générer des phrases

Une phrase est délimitée par la ponctuation, p. ex. . (point), ! (exclamation) ou ? (interrogation).
- Ces signes de ponctuation doivent faire partie du vocabulaire.
Utiliser un jeton de phrase, p. ex. <SENT> et </SENT>, pour marquer le début et la fin.
- Prétraiter les données pour insérer ces étiquettes.

Générer des phrases

sentence = ''

# Boucler jusqu'à la fin de la phrase
while next_char != '.':

    # Prédire le prochain caractère : obtenir le tableau pred à la position 0
    pred = model.predict(X)[0]

    char_index = np.argmax(pred)

    next_char = index_to_char(char_index)

    # Concaténer à la phrase
    sentence  = sentence + next_char

Ajustement des probabilités

Ajuster la distribution de probabilités.

Température : terme emprunté à la physique
- Valeurs faibles : prédictions plus confiantes
- Valeur égale à un : pas d'ajustement
- Valeurs plus élevées : prédictions plus créatives
- Hyperparamètre : essayer plusieurs valeurs selon vos besoins

Ajustement des probabilités

def scale_softmax(softmax_pred, temperature=1.0):
    # Prendre le logarithme
    scaled_pred = np.log(softmax_pred) / temperature

    # Réappliquer l'exponentielle
    scaled_pred = np.exp(scaled_pred)

    # Construire la distribution de probabilités
    scaled_pred = scaled_pred / np.sum(scaled_pred)

    # Simuler une multinomiale
    scaled_pred = np.random.multinomial(1, scaled_pred, 1)

    # Retourner la classe simulée
    return np.argmax(scaled_pred)

Passons à la pratique !

Réseaux de neurones récurrents (RNN) pour la modélisation du langage avec Keras