Vertalingen genereren met de NMT

Machine Translation met Keras

Thushan Ganegedara

Data Scientist and Author

Motivatie

Je hebt een getraind model
Moet mensen helpen bij vertaalwerk
Test het model op ongeziene data
Hoe?
- Hold-out testset om het model te evalueren
- Je test het model door het een vertaling voor één zin te laten voorspellen.

De input transformeren

Engelse zin

en_st = ['the united states is sometimes chilly during december , but it is sometimes freezing in june .']

Transformeer de encoderzin

en_seq = sents2seqs('source', en_st, onehot=True, reverse=True)
print(np.argmax(en_seq, axis=-1)

English: ['the united states is sometimes chilly during december , 
           but it is sometimes freezing in june .']
Reversed sentence: ['june in freezing sometimes is it ...'] 
Reversed sequence: [[34   3  54       10        2  4  7 45  5 69 10  2 23 22  6]]

De vertaling genereren

Een voorspelling genereren
```
fr_pred = model.predict(en_seq)
```
fr_pred.shape
- [zinnen, seq-lengte, vocab-grootte]

Voorspelde klassen ophalen

fr_seq = np.argmax(fr_pred, axis=-1)[0]

[[ 3  7 35 34  2 ...  5  4  4  0  0]] # <= fr_seq

fr_seq.shape
- [aantal zinnen, seq-lengte]

De voorspelling omzetten naar een zin

Zet de gegenereerde woord-ID’s om naar een zin met list comprehension

fr_sentence = ' '.join([fr_id2word[i] for i in fr_seq if i != 0])

English: the united states is sometimes chilly during december , but it is sometimes freezing in june .

French:                    les états unis est parfois froid en décembre mais il est parfois le gel en

French (Google Translate): les etats-unis sont parfois froids en décembre, mais parfois gelés en juin

Meer over list comprehensions

List comprehension

word_list = [fr_tok.index_word[i] for i in fr_seq if i != 0]

For-lus

word_list = []
for i in fr_seq:
  if i != 0:
    word_list.append(fr_tok.index_word[i])

Laten we oefenen!

Machine Translation met Keras