用 NMT 產生翻譯

使用 Keras 進行機器翻譯

Thushan Ganegedara

Data Scientist and Author

動機

  • 你已有訓練好的模型
  • 需要能輔助人類進行翻譯

  • 在未見過的資料上測試模型

  • 怎麼做？

    • 保留測試集來評估模型
    • 你會請模型為單一句子預測翻譯。
使用 Keras 進行機器翻譯

轉換輸入

  • 英文句子
en_st = ['the united states is sometimes chilly during december , but it is sometimes freezing in june .']
  • 轉換編碼器輸入句子
en_seq = sents2seqs('source', en_st, onehot=True, reverse=True)
print(np.argmax(en_seq, axis=-1)

English: ['the united states is sometimes chilly during december , 
           but it is sometimes freezing in june .']
Reversed sentence: ['june in freezing sometimes is it ...'] 
Reversed sequence: [[34   3  54       10        2  4  7 45  5 69 10  2 23 22  6]]
使用 Keras 進行機器翻譯

產生翻譯

  • 產生預測

    fr_pred = model.predict(en_seq)

  • fr_pred.shape

    • [sentences, seq len, vocab size]
  • 取得預測類別
fr_seq = np.argmax(fr_pred, axis=-1)[0]

[[ 3  7 35 34  2 ...  5  4  4  0  0]] # <= fr_seq
  • fr_seq.shape
    • [num sentences, sequence len]

使用 Keras 進行機器翻譯

將預測轉成句子

  • 用串列推導將產生的字詞 ID 轉成句子
fr_sentence = ' '.join([fr_id2word[i] for i in fr_seq if i != 0])

English: the united states is sometimes chilly during december , but it is sometimes freezing in june .

French:                    les états unis est parfois froid en décembre mais il est parfois le gel en

French (Google Translate): les etats-unis sont parfois froids en décembre, mais parfois gelés en juin
使用 Keras 進行機器翻譯

更深入看串列推導

  • 串列推導
word_list = [fr_tok.index_word[i] for i in fr_seq if i != 0]
  • For 迴圈
word_list = []
for i in fr_seq:
  if i != 0:
    word_list.append(fr_tok.index_word[i])
使用 Keras 進行機器翻譯

一起來練習吧！

使用 Keras 進行機器翻譯

Preparing Video For Download...