NMT से अनुवाद जनरेट करना

Keras के साथ Machine Translation

Thushan Ganegedara

Data Scientist and Author

प्रेरणा

आपके पास एक प्रशिक्षित मॉडल है
अनुवाद कार्यों में मनुष्यों की मदद करनी है
मॉडल को अनदेखे डेटा पर टेस्ट करें
कैसे?
- मॉडल का आकलन करने के लिए होल्ड-आउट टेस्ट सेट
- आप मॉडल से एक वाक्य के अनुवाद की भविष्यवाणी करवाएँगे.

इनपुट को ट्रांसफॉर्म करना

अंग्रेजी वाक्य

en_st = ['the united states is sometimes chilly during december , but it is sometimes freezing in june .']

एन्कोडर वाक्य को ट्रांसफॉर्म करें

en_seq = sents2seqs('source', en_st, onehot=True, reverse=True)
print(np.argmax(en_seq, axis=-1)

English: ['the united states is sometimes chilly during december , 
           but it is sometimes freezing in june .']
Reversed sentence: ['june in freezing sometimes is it ...'] 
Reversed sequence: [[34   3  54       10        2  4  7 45  5 69 10  2 23 22  6]]

अनुवाद जनरेट करना

प्रिडिक्शन जनरेट करना
```
fr_pred = model.predict(en_seq)
```
fr_pred.shape
- [sentences, seq len, vocab size]

प्रेडिक्टेड क्लासेस पाना

fr_seq = np.argmax(fr_pred, axis=-1)[0]

[[ 3  7 35 34  2 ...  5  4  4  0  0]] # <= fr_seq

fr_seq.shape
- [num sentences, sequence len]

प्रिडिक्शन को वाक्य में बदलना

लिस्ट कॉम्प्रिहेंशन से जनरेट किए गए word IDs को वाक्य में बदलना

fr_sentence = ' '.join([fr_id2word[i] for i in fr_seq if i != 0])

English: the united states is sometimes chilly during december , but it is sometimes freezing in june .

French:                    les états unis est parfois froid en décembre mais il est parfois le gel en

French (Google Translate): les etats-unis sont parfois froids en décembre, mais parfois gelés en juin

लिस्ट कॉम्प्रिहेंशन: थोड़ी और जानकारी

लिस्ट कॉम्प्रिहेंशन

word_list = [fr_tok.index_word[i] for i in fr_seq if i != 0]

For लूप

word_list = []
for i in fr_seq:
  if i != 0:
    word_list.append(fr_tok.index_word[i])

अभ्यास करते हैं!

Keras के साथ Machine Translation