Generare traduzioni con la NMT

Traduzione automatica con Keras

Thushan Ganegedara

Data Scientist and Author

Motivazione

Hai un modello addestrato
Deve assistere le persone nelle traduzioni
Testalo su dati mai visti
Come?
- Set di test hold-out per valutare il modello
- Lo testerai chiedendo di prevedere la traduzione di una frase.

Trasformare l'input

Frase in inglese

en_st = ['the united states is sometimes chilly during december , but it is sometimes freezing in june .']

Trasforma la frase per l'encoder

en_seq = sents2seqs('source', en_st, onehot=True, reverse=True)
print(np.argmax(en_seq, axis=-1)

English: ['the united states is sometimes chilly during december , 
           but it is sometimes freezing in june .']
Reversed sentence: ['june in freezing sometimes is it ...'] 
Reversed sequence: [[34   3  54       10        2  4  7 45  5 69 10  2 23 22  6]]

Generare la traduzione

Generare una previsione
```
fr_pred = model.predict(en_seq)
```
fr_pred.shape
- [frasi, lungh. seq, dim. vocab]

Ottenere le classi previste

fr_seq = np.argmax(fr_pred, axis=-1)[0]

[[ 3  7 35 34  2 ...  5  4  4  0  0]] # <= fr_seq

fr_seq.shape
- [num frasi, lungh. sequenza]

Convertire la previsione in frase

Convertire gli ID parola prodotti in una frase con una list comprehension

fr_sentence = ' '.join([fr_id2word[i] for i in fr_seq if i != 0])

English: the united states is sometimes chilly during december , but it is sometimes freezing in june .

French:                    les états unis est parfois froid en décembre mais il est parfois le gel en

French (Google Translate): les etats-unis sont parfois froids en décembre, mais parfois gelés en juin

List comprehension: dettagli

List comprehension

word_list = [fr_tok.index_word[i] for i in fr_seq if i != 0]

Ciclo for

word_list = []
for i in fr_seq:
  if i != 0:
    word_list.append(fr_tok.index_word[i])

Passons à la pratique !

Traduzione automatica con Keras