एन्कोडर लागू करना

Keras के साथ Machine Translation

Thushan Ganegedara

Data Scientist and Author

डेटा समझना

डेटासेट में कुछ डेटा प्रिंट करना

for en_sent, fr_sent in zip(en_text[:3], fr_text[:3]):
  print("English: ", en_sent)
  print("\tFrench: ", fr_sent)

English:  new jersey is sometimes quiet during autumn , and it is snowy in april .
    French:  new jersey est parfois calme pendant l' automne , et il est neigeux en avril .

English:  the united states is usually chilly during july , and it is usually freezing in november .
    French:  les états-unis est généralement froid en juillet , et il gèle habituellement en novembre .

English:  california is usually quiet during march , and it is usually hot in june .
    French:  california est généralement calme en mars , et il est généralement chaud en juin .

वाक्यों का टोकनाइज़ेशन

टोकनाइज़ेशन

किसी वाक्य/वाक्यांश को अलग-अलग टोकन (जैसे शब्द) में तोड़ने की प्रक्रिया

वाक्यों में शब्दों का टोकनाइज़ेशन

first_sent = en_text[0]
print("First sentence: ", first_sent)
first_words = first_sent.split(" ")
print("\tWords: ", first_words)

First sentence:  new jersey is sometimes quiet during autumn , and it is snowy in april .
    Words:  ['new', 'jersey', 'is', 'sometimes', 'quiet', 'during', 'autumn', ',', 
             'and', 'it', 'is', 'snowy', 'in', 'april', '.']

वाक्यों की लंबाई निकालना

वाक्य की औसत लंबाई और शब्दावली का आकार निकालना (English)

sent_lengths = [len(en_sent.split(" ")) for en_sent in en_text]
mean_length = np.mean(sent_lengths)
print('(English) Mean sentence length: ', mean_length)

(English) Mean sentence length:  13.20662

शब्दावली का आकार निकालना

all_words = []
for sent in en_text:
    all_words.extend(sent.split(" "))
vocab_size = len(set(all_words))
print("(English) Vocabulary size: ", vocab_size)

set ऑब्जेक्ट में केवल यूनिक आइटम होते हैं, डुप्लिकेट नहीं होते

(English) Vocabulary size:  228

एन्कोडर

Keras के साथ एन्कोडर लागू करना

इनपुट लेयर

en_inputs = Input(shape=(en_len, en_vocab))

GRU लेयर

en_gru = GRU(hsize, return_state=True)
en_out, en_state = en_gru(en_inputs)

Keras मॉडल

encoder = Model(inputs=en_inputs, outputs=en_state)

Keras मॉडल सारांश समझना

print(encoder.summary())

_________________________________________________________________
Layer (type)                 Output Shape              Param #   
=================================================================
input_1 (InputLayer)         (None, 15, 150)           0         
_________________________________________________________________
gru (GRU)                    [(None, 48), (None, 48)]  28656     
=================================================================
Total params: 28,656
Trainable params: 28,656
Non-trainable params: 0
_________________________________________________________________

अभ्यास करते हैं!

Keras के साथ Machine Translation