Generarea traducerilor cu NMT

Traducere automată cu Keras

Thushan Ganegedara

Data Scientist and Author

Motivație

Aveți un model antrenat
Trebuie să asistați la sarcini de traducere
Testați modelul pe date noi
Cum?
- Set de test hold-out pentru evaluarea modelului
- Veți testa modelul cerându-i să prezică traducerea unei propoziții.

Transformarea intrării

Propoziție în engleză

en_st = ['the united states is sometimes chilly during december , but it is sometimes freezing in june .']

Transformarea propoziției pentru encoder

en_seq = sents2seqs('source', en_st, onehot=True, reverse=True)
print(np.argmax(en_seq, axis=-1)

English: ['the united states is sometimes chilly during december , 
           but it is sometimes freezing in june .']
Reversed sentence: ['june in freezing sometimes is it ...'] 
Reversed sequence: [[34   3  54       10        2  4  7 45  5 69 10  2 23 22  6]]

Generarea traducerii

Generarea unei predicții
```
fr_pred = model.predict(en_seq)
```
fr_pred.shape
- [sentences, seq len, vocab size]

Obținerea claselor prezise

fr_seq = np.argmax(fr_pred, axis=-1)[0]

[[ 3  7 35 34  2 ...  5  4  4  0  0]] # <= fr_seq

fr_seq.shape
- [num sentences, sequence len]

Conversia predicției într-o propoziție

Conversia ID-urilor de cuvinte într-o propoziție cu list comprehension

fr_sentence = ' '.join([fr_id2word[i] for i in fr_seq if i != 0])

English: the united states is sometimes chilly during december , but it is sometimes freezing in june .

French:                    les états unis est parfois froid en décembre mais il est parfois le gel en

French (Google Translate): les etats-unis sont parfois froids en décembre, mais parfois gelés en juin

List comprehension în detaliu

List comprehension

word_list = [fr_tok.index_word[i] for i in fr_seq if i != 0]

Buclă for

word_list = []
for i in fr_seq:
  if i != 0:
    word_list.append(fr_tok.index_word[i])

Să exersăm!

Traducere automată cu Keras