Entraîner le modèle NMT

Traduction automatique avec Keras

Thushan Ganegedara

Data Scientist and Author

Retour sur le modèle

GRU encodeur
- Reçoit des mots anglais
- Produit un vecteur de contexte
GRU décodeur
- Reçoit le vecteur de contexte
- Produit une séquence de sorties GRU
Couche de prédiction du décodeur
- Reçoit la séquence de sorties GRU
- Produit des probabilités de prédiction pour les mots français

Optimiser les paramètres

Les couches GRU et Dense ont des paramètres
Souvent notés W (poids) et b (biais) (initialisés aléatoirement)
Transforment une entrée donnée en sortie utile
Évoluent pour minimiser une perte donnée avec un optimiseur
- Perte : différence entre :
  - Les prédictions (p. ex. mots français générés par le modèle)
  - Les sorties réelles (p. ex. vrais mots français).
Spécifiés lors de la compilation du modèle

nmt.compile(optimizer='adam', loss='categorical_crossentropy', metrics=['acc'])

Entraîner le modèle

Itérations d'entraînement

for ei in range(n_epochs): # Parcours unique de l'ensemble de données
  for i in range(0,data_size,bsize): # Traitement d'un lot

Obtenir un lot de données d'entraînement

  en_x = sents2seqs('source', en_text[i:i+bsize], onehot=True, reverse=True)
  de_y = sents2seqs('target', en_text[i:i+bsize], onehot=True)

Entraîner sur un lot
```
  nmt.train_on_batch(en_x, de_y)
```

Évaluer le modèle

  res = nmt.evaluate(en_x, de_y, batch_size=bsize, verbose=0)

Entraîner le modèle

Récupérer la perte d'entraînement et la justesse

  res = nmt.evaluate(en_x, de_y, batch_size=bsize, verbose=0)
  print("Epoch {} => Train Loss:{}, Train Acc: {}".format(
    ei+1,res[0], res[1]*100.0))

Epoch 1 => Train Loss:4.8036723136901855, Train Acc: 5.215999856591225
...
Epoch 1 => Train Loss:4.718592643737793, Train Acc: 47.0880001783371
...
Epoch 5 => Train Loss:2.8161656856536865, Train Acc: 56.40000104904175
Epoch 5 => Train Loss:2.527724266052246, Train Acc: 54.368001222610474
Epoch 5 => Train Loss:2.2689621448516846, Train Acc: 54.57599759101868
Epoch 5 => Train Loss:1.9934935569763184, Train Acc: 56.51199817657471
Epoch 5 => Train Loss:1.7581449747085571, Train Acc: 55.184000730514526
Epoch 5 => Train Loss:1.5613118410110474, Train Acc: 55.11999726295471

Éviter le surapprentissage

Scinder l'ensemble de données en deux parties
- Ensemble d'entraînement – pour entraîner le modèle
- Ensemble de validation – pour suivre la justesse du modèle
Lorsque la justesse de validation n'augmente plus, arrêter l'entraînement.

Point de surapprentissage

Scinder l'ensemble de données

Définir la taille des ensembles d'entraînement et de validation
```
train_size, valid_size = 800, 200
```

Mélanger aléatoirement les indices

inds = np.arange(len(en_text))
np.random.shuffle(inds)

Extraire les indices d'entraînement et de validation

train_inds = inds[:train_size]
valid_inds = inds[train_size:train_size+valid_size]

Scinder l'ensemble de données

Scinder l'ensemble de données en séparant :
- Données aux indices d'entraînement → ensemble d'entraînement
- Données aux indices de validation → ensemble de validation

tr_en = [en_text[ti] for ti in train_inds]
tr_fr = [fr_text[ti] for ti in train_inds]

v_en = [en_text[ti] for ti in valid_inds]
v_fr = [fr_text[ti] for ti in valid_inds]

Entraîner le modèle avec validation

n_epochs, bsize = 5, 250
for ei in range(n_epochs):

  for i in range(0,train_size,bsize):
    en_x = sents2seqs('source', tr_en[i:i+bsize], onehot=True, pad_type='pre')
    de_y = sents2seqs('target', tr_fr[i:i+bsize], onehot=True)
    nmt.train_on_batch(en_x, de_y)

  v_en_x = sents2seqs('source', v_en, onehot=True, pad_type='pre')
  v_de_y = sents2seqs('target', v_fr, onehot=True)

  res = nmt.evaluate(v_en_x, v_de_y, batch_size=valid_size, verbose=0)
  print("Epoch: {} => Loss:{}, Val Acc: {}".format(ei+1,res[0], res[1]*100.0))

Epoch 1 => Train Loss:4.8036723136901855, Train Acc: 5.215999856591225

Passons à la pratique !

Traduction automatique avec Keras