파트 2: 텍스트 전처리

Keras로 배우는 Machine Translation

Thushan Ganegedara

Data Scientist and Author

시작/끝 특수 토큰 추가

문장:

'les états-unis est parfois occupé en janvier , et il est parfois chaud en novembre .'

이렇게 바뀝니다:

'sos les états-unis est parfois occupé en janvier , et il est parfois chaud en novembre . eos',

특수 토큰 추가 후

sos - 문장/시작 토큰
eos - 문장/끝 토큰

문장 패딩

실제 데이터셋의 문장 길이는 서로 다릅니다
pad_sequences 임포트

from tensorflow.keras.preprocessing.sequence import pad_sequences

문장을 시퀀스로 변환

sentences = [
  'new jersey is sometimes quiet during autumn .',
  'california is never rainy during july , but it is sometimes beautiful in february .'
]
seqs = en_tok.texts_to_sequences(sentences)

문장 패딩

preproc_text = pad_sequences(seqs, padding='post', truncating='post', maxlen=12)

for orig, padded in zip(seqs, preproc_text):
    print(orig, ' => ', padded)

첫 번째 문장은 끝에 0이 5개 패딩됩니다:

#  'new jersey is sometimes quiet during autumn .',
[18, 20, 2, 10, 32, 5, 46]  =>  [18 20  2 10 32  5 46  0  0  0  0  0]

두 번째 문장은 끝에서 단어 1개가 잘립니다:

# 'california is never rainy during july , but it is sometimes beautiful in february .'
[21, 2, 11, 47, 5, 41, 7, 4, 2, 10, 30, 3, 38]  =>  [ 12 2 11 47  5 41  7  4  2 10 30  3]

Keras에서는 0이 단어 ID로 할당되지 않습니다

문장 뒤집기의 이점

인코더와 디코더 간 초기 연결을 강화합니다

뒤집었을 때와 아닐 때의 거리

문장 뒤집기

패딩 시퀀스를 만들고 시간 축으로 뒤집습니다

sentences = ["california is never rainy during july .",]
seqs = en_tok.texts_to_sequences(sentences)
pad_seq = preproc_text = pad_sequences(seqs, padding='post', truncating='post', maxlen=12)

[[21  2  9 25  5 27  0  0  0  0  0  0]]

문장 뒤집기

pad_seq

[[21  2  9 25  5 27  0  0  0  0  0  0]]

pad_seq = pad_seq[:,::-1]

[[ 0  0  0  0  0  0 27  5 25  9  2 21]]

rev_sent = [en_tok.index_word[wid] for wid in pad_seq[0][-6:]] 
print('Sentence: ', sentences[0])
print('\tReversed: ',' '.join(rev_sent))

Sentence:  california is never rainy during july .
    Reversed:  july during rainy never is california

Lass uns üben!

Keras로 배우는 Machine Translation