Antrenarea modelului NMT

Traducere automată cu Keras

Thushan Ganegedara

Data Scientist and Author

Recapitularea modelului

GRU encoder
- Procesează cuvintele în engleză
- Generează un vector de context
GRU decoder
- Primește vectorul de context
- Generează o secvență de ieșiri GRU
Strat de predicție decoder
- Primește secvența de ieșiri GRU
- Generează probabilități de predicție pentru cuvinte în franceză

Optimizarea parametrilor

Stratul GRU și stratul Dense au parametri
Reprezentați de obicei prin W (ponderi) și b (bias) (inițializați cu valori aleatoare)
Responsabili de transformarea intrărilor într-o ieșire utilă
Ajustați pentru a minimiza o funcție de pierdere cu un optimizator
- Pierdere: diferența dintre:
  - Predicții (cuvintele în franceză generate de model)
  - Ieșirile reale (cuvintele în franceză corecte).
Specificați la compilarea modelului

nmt.compile(optimizer='adam', loss='categorical_crossentropy', metrics=['acc'])

Antrenarea modelului

Iterații de antrenare

for ei in range(n_epochs): # O parcurgere completă a setului de date
  for i in range(0,data_size,bsize): # Procesarea unui singur batch

Obținerea unui batch de date de antrenare

  en_x = sents2seqs('source', en_text[i:i+bsize], onehot=True, reverse=True)
  de_y = sents2seqs('target', en_text[i:i+bsize], onehot=True)

Antrenarea pe un singur batch de date
```
  nmt.train_on_batch(en_x, de_y)
```

Evaluarea modelului

  res = nmt.evaluate(en_x, de_y, batch_size=bsize, verbose=0)

Antrenarea modelului

Obținerea pierderii și acurateței de antrenare

  res = nmt.evaluate(en_x, de_y, batch_size=bsize, verbose=0)
  print("Epoch {} => Train Loss:{}, Train Acc: {}".format(
    ei+1,res[0], res[1]*100.0))

Epoch 1 => Train Loss:4.8036723136901855, Train Acc: 5.215999856591225
...
Epoch 1 => Train Loss:4.718592643737793, Train Acc: 47.0880001783371
...
Epoch 5 => Train Loss:2.8161656856536865, Train Acc: 56.40000104904175
Epoch 5 => Train Loss:2.527724266052246, Train Acc: 54.368001222610474
Epoch 5 => Train Loss:2.2689621448516846, Train Acc: 54.57599759101868
Epoch 5 => Train Loss:1.9934935569763184, Train Acc: 56.51199817657471
Epoch 5 => Train Loss:1.7581449747085571, Train Acc: 55.184000730514526
Epoch 5 => Train Loss:1.5613118410110474, Train Acc: 55.11999726295471

Evitarea supraadaptării

Împărțiți setul de date în două părți
- Set de antrenare - pe care modelul este antrenat
- Set de validare - pe care se monitorizează acuratețea
Când acuratețea de validare nu mai crește, opriți antrenarea.

Punct de supraadaptare

Împărțirea setului de date

Definiți dimensiunile seturilor de antrenare și validare
```
train_size, valid_size = 800, 200
```

Amestecați aleatoriu indicii datelor

inds = np.arange(len(en_text))
np.random.shuffle(inds)

Obțineți indicii pentru antrenare și validare

train_inds = inds[:train_size]
valid_inds = inds[train_size:train_size+valid_size]

Împărțirea setului de date

Împărțiți setul de date separând:
- Datele cu indici de antrenare în setul de antrenare
- Datele cu indici de validare în setul de validare

tr_en = [en_text[ti] for ti in train_inds]
tr_fr = [fr_text[ti] for ti in train_inds]

v_en = [en_text[ti] for ti in valid_inds]
v_fr = [fr_text[ti] for ti in valid_inds]

Antrenarea modelului cu validare

n_epochs, bsize = 5, 250
for ei in range(n_epochs):

  for i in range(0,train_size,bsize):
    en_x = sents2seqs('source', tr_en[i:i+bsize], onehot=True, pad_type='pre')
    de_y = sents2seqs('target', tr_fr[i:i+bsize], onehot=True)
    nmt.train_on_batch(en_x, de_y)

  v_en_x = sents2seqs('source', v_en, onehot=True, pad_type='pre')
  v_de_y = sents2seqs('target', v_fr, onehot=True)

  res = nmt.evaluate(v_en_x, v_de_y, batch_size=valid_size, verbose=0)
  print("Epoch: {} => Loss:{}, Val Acc: {}".format(ei+1,res[0], res[1]*100.0))

Epoch 1 => Train Loss:4.8036723136901855, Train Acc: 5.215999856591225

Să exersăm!

Traducere automată cu Keras