Generera översättningar med NMT

Maskinöversättning med Keras

Thushan Ganegedara

Data Scientist and Author

Motivation

Du har en tränad modell
Behöver kunna hjälpa människor med översättningsuppgifter
Testa modellen på osynlig data
Hur?
- Ett separat testset för att utvärdera modellen
- Du testar modellen genom att låta den förutsäga översättningar för en mening.

Omvandla indata

Engelsk mening

en_st = ['the united states is sometimes chilly during december , but it is sometimes freezing in june .']

Omvandla enkodermeningen

en_seq = sents2seqs('source', en_st, onehot=True, reverse=True)
print(np.argmax(en_seq, axis=-1)

English: ['the united states is sometimes chilly during december , 
           but it is sometimes freezing in june .']
Reversed sentence: ['june in freezing sometimes is it ...'] 
Reversed sequence: [[34   3  54       10        2  4  7 45  5 69 10  2 23 22  6]]

Generera översättningen

Generera en förutsägelse
```
fr_pred = model.predict(en_seq)
```
fr_pred.shape
- [sentences, seq len, vocab size]

Hämta de förutsagda klasserna

fr_seq = np.argmax(fr_pred, axis=-1)[0]

[[ 3  7 35 34  2 ...  5  4  4  0  0]] # <= fr_seq

fr_seq.shape
- [num sentences, sequence len]

Konvertera förutsägelsen till en mening

Konvertera de genererade ord-ID:na till en mening med list comprehension

fr_sentence = ' '.join([fr_id2word[i] for i in fr_seq if i != 0])

English: the united states is sometimes chilly during december , but it is sometimes freezing in june .

French:                    les états unis est parfois froid en décembre mais il est parfois le gel en

French (Google Translate): les etats-unis sont parfois froids en décembre, mais parfois gelés en juin

List comprehension i detalj

List comprehension

word_list = [fr_tok.index_word[i] for i in fr_seq if i != 0]

For-loop

word_list = []
for i in fr_seq:
  if i != 0:
    word_list.append(fr_tok.index_word[i])

Nu kör vi en övning!

Maskinöversättning med Keras