Menghasilkan terjemahan dengan NMT

Penerjemahan Mesin dengan Keras

Thushan Ganegedara

Data Scientist and Author

Motivasi

Anda memiliki model terlatih
Perlu membantu manusia dalam tugas penerjemahan
Uji model pada data yang belum terlihat
Bagaimana?
- Set uji hold-out untuk mengevaluasi model
- Anda akan meminta model memprediksi terjemahan untuk satu kalimat.

Mentransformasi input

Kalimat bahasa Inggris

en_st = ['the united states is sometimes chilly during december , but it is sometimes freezing in june .']

Transformasi kalimat untuk encoder

en_seq = sents2seqs('source', en_st, onehot=True, reverse=True)
print(np.argmax(en_seq, axis=-1)

English: ['the united states is sometimes chilly during december , 
           but it is sometimes freezing in june .']
Reversed sentence: ['june in freezing sometimes is it ...'] 
Reversed sequence: [[34   3  54       10        2  4  7 45  5 69 10  2 23 22  6]]

Menghasilkan terjemahan

Menghasilkan prediksi
```
fr_pred = model.predict(en_seq)
```
fr_pred.shape
- [sentences, seq len, vocab size]

Mengambil kelas terprediksi

fr_seq = np.argmax(fr_pred, axis=-1)[0]

[[ 3  7 35 34  2 ...  5  4  4  0  0]] # <= fr_seq

fr_seq.shape
- [num sentences, sequence len]

Mengonversi prediksi menjadi kalimat

Mengonversi ID kata menjadi kalimat dengan list comprehension

fr_sentence = ' '.join([fr_id2word[i] for i in fr_seq if i != 0])

English: the united states is sometimes chilly during december , but it is sometimes freezing in june .

French:                    les états unis est parfois froid en décembre mais il est parfois le gel en

French (Google Translate): les etats-unis sont parfois froids en décembre, mais parfois gelés en juin

List comprehension lebih detail

List comprehension

word_list = [fr_tok.index_word[i] for i in fr_seq if i != 0]

For loop

word_list = []
for i in fr_seq:
  if i != 0:
    word_list.append(fr_tok.index_word[i])

Ayo berlatih!

Penerjemahan Mesin dengan Keras