Partea 2: Preprocesarea textului

Traducere automată cu Keras

Thushan Ganegedara

Data Scientist and Author

Adăugarea tokenilor speciali de început/sfârșit

Propoziția:

'les états-unis est parfois occupé en janvier , et il est parfois chaud en novembre .'

devine:

'sos les états-unis est parfois occupé en janvier , et il est parfois chaud en novembre . eos',

după adăugarea tokenilor speciali

sos - Începutul unei propoziții/secvențe
eos - Sfârșitul unei propoziții/secvențe

Padding-ul propozițiilor

Seturile de date reale nu au același număr de cuvinte în toate propozițiile
Importarea pad_sequences

from tensorflow.keras.preprocessing.sequence import pad_sequences

Conversia propozițiilor în secvențe

sentences = [
  'new jersey is sometimes quiet during autumn .',
  'california is never rainy during july , but it is sometimes beautiful in february .'
]
seqs = en_tok.texts_to_sequences(sentences)

Padding-ul propozițiilor

preproc_text = pad_sequences(seqs, padding='post', truncating='post', maxlen=12)

for orig, padded in zip(seqs, preproc_text):
    print(orig, ' => ', padded)

Prima propoziție primește cinci 0-uri adăugate la sfârșit:

#  'new jersey is sometimes quiet during autumn .',
[18, 20, 2, 10, 32, 5, 46]  =>  [18 20  2 10 32  5 46  0  0  0  0  0]

A doua propoziție are un cuvânt trunchiat la sfârșit:

# 'california is never rainy during july , but it is sometimes beautiful in february .'
[21, 2, 11, 47, 5, 41, 7, 4, 2, 10, 30, 3, 38]  =>  [ 12 2 11 47  5 41  7  4  2 10 30  3]

În Keras, 0 nu va fi niciodată alocat ca ID de cuvânt

Beneficiul inversării propozițiilor

Ajută la crearea unei conexiuni inițiale mai puternice între encoder și decoder

Distanța cu și fără inversare

Inversarea propozițiilor

Crearea secvențelor cu padding și inversarea lor pe dimensiunea temporală

sentences = ["california is never rainy during july .",]
seqs = en_tok.texts_to_sequences(sentences)
pad_seq = preproc_text = pad_sequences(seqs, padding='post', truncating='post', maxlen=12)

[[21  2  9 25  5 27  0  0  0  0  0  0]]

Inversarea propozițiilor

pad_seq

[[21  2  9 25  5 27  0  0  0  0  0  0]]

pad_seq = pad_seq[:,::-1]

[[ 0  0  0  0  0  0 27  5 25  9  2 21]]

rev_sent = [en_tok.index_word[wid] for wid in pad_seq[0][-6:]] 
print('Sentence: ', sentences[0])
print('\tReversed: ',' '.join(rev_sent))

Sentence:  california is never rainy during july .
    Reversed:  july during rainy never is california

Să exersăm!

Traducere automată cu Keras