Del 2: Förbearbetning av text

Maskinöversättning med Keras

Thushan Ganegedara

Data Scientist and Author

Lägga till specialtoken för start och slut

Meningen:

'les états-unis est parfois occupé en janvier , et il est parfois chaud en novembre .'

bli:

'sos les états-unis est parfois occupé en janvier , et il est parfois chaud en novembre . eos',

efter att specialtoken lagts till

sos - Start på en mening/sekvens
eos - Slut på en mening/sekvens

Utfyllnad av meningar

Verkliga datamängder har sällan lika många ord i alla meningar
Importera pad_sequences

from tensorflow.keras.preprocessing.sequence import pad_sequences

Konvertera meningar till sekvenser

sentences = [
  'new jersey is sometimes quiet during autumn .',
  'california is never rainy during july , but it is sometimes beautiful in february .'
]
seqs = en_tok.texts_to_sequences(sentences)

Utfyllnad av meningar

preproc_text = pad_sequences(seqs, padding='post', truncating='post', maxlen=12)

for orig, padded in zip(seqs, preproc_text):
    print(orig, ' => ', padded)

Första meningen får fem 0:or tillagda i slutet:

#  'new jersey is sometimes quiet during autumn .',
[18, 20, 2, 10, 32, 5, 46]  =>  [18 20  2 10 32  5 46  0  0  0  0  0]

Andra meningen får ett ord avkortat i slutet:

# 'california is never rainy during july , but it is sometimes beautiful in february .'
[21, 2, 11, 47, 5, 41, 7, 4, 2, 10, 30, 3, 38]  =>  [ 12 2 11 47  5 41  7  4  2 10 30  3]

I Keras tilldelas 0 aldrig som ett ord-ID

Fördelen med att reversera meningar

Hjälper till att skapa en starkare inledande koppling mellan kodaren och dekodaren

Avstånd med och utan reversering

Reversering av meningar

Skapa utfyllda sekvenser och reversera dem längs tidsdimensionen

sentences = ["california is never rainy during july .",]
seqs = en_tok.texts_to_sequences(sentences)
pad_seq = preproc_text = pad_sequences(seqs, padding='post', truncating='post', maxlen=12)

[[21  2  9 25  5 27  0  0  0  0  0  0]]

Reversering av meningar

pad_seq

[[21  2  9 25  5 27  0  0  0  0  0  0]]

pad_seq = pad_seq[:,::-1]

[[ 0  0  0  0  0  0 27  5 25  9  2 21]]

rev_sent = [en_tok.index_word[wid] for wid in pad_seq[0][-6:]] 
print('Sentence: ', sentences[0])
print('\tReversed: ',' '.join(rev_sent))

Sentence:  california is never rainy during july .
    Reversed:  july during rainy never is california

Nu kör vi en övning!

Maskinöversättning med Keras