การจำแนกความรู้สึกทบทวนใหม่

Recurrent Neural Networks (RNNs) สำหรับ Language Modeling ด้วย Keras

David Cecchini

Data Scientist

ผลลัพธ์ก่อนหน้า

โมเดลแรกของเราได้ผลลัพธ์ที่ไม่ดี

model = Sequential()
model.add(SimpleRNN(units=16, input_shape=(None, 1)))
model.add(Dense(1, activation='sigmoid'))
model.compile(loss='binary_crossentropy', optimizer='sgd', metrics=['accuracy'])

model.evaluate(x_test, y_test)

$[0.6991182165145874, 0.495]

การปรับปรุงโมเดล

แนวทางปรับปรุงประสิทธิภาพโมเดล:

เพิ่ม embedding layer
เพิ่มจำนวน layer
ปรับจูนพารามิเตอร์
เพิ่มขนาด vocabulary
รองรับประโยคยาวขึ้นด้วย memory cell ที่มากขึ้น

การหลีกเลี่ยง overfitting

โมเดล RNN อาจเกิด overfitting ได้

ทดลองขนาด batch ที่ต่างกัน
เพิ่ม Dropout layers
เพิ่มพารามิเตอร์ dropout และ recurrent_dropout บน RNN layers

# removes 20% of input to add noise
model.add(Dropout(rate=0.2))

# Removes 10% of input and memory cells respectively
model.add(LSTM(128, dropout=0.1, recurrent_dropout=0.1))

เพิ่มเติม: Convolution Layer

นอกขอบเขตของคอร์สนี้:

model.add(Embedding(vocabulary_size, wordvec_dim, ...))
model.add(Conv1D(num_filters=32, kernel_size=3, padding='same'))
model.add(MaxPooling1D(pool_size=2))

Convolution layer ทำ feature selection บน embedding vector
ให้ผลลัพธ์ระดับ state-of-the-art ในปัญหา NLP หลายประเภท

ตัวอย่างโมเดล

model = Sequential()
model.add(Embedding(  vocabulary_size, wordvec_dim, trainable=True,
                      embeddings_initializer=Constant(glove_matrix), 
                      input_length=max_text_len, name="Embedding"))

model.add(Dense(wordvec_dim, activation='relu', name="Dense1"))

model.add(Dropout(rate=0.25))
model.add(LSTM(64, return_sequences=True, dropout=0.15, name="LSTM"))

model.add(GRU(64, return_sequences=False, dropout=0.15, name="GRU"))

model.add(Dense(64, name="Dense2"))
model.add(Dropout(rate=0.25))
model.add(Dense(32, name="Dense3"))

model.add(Dense(1, activation='sigmoid', name="Output"))

มาฝึกกันเถอะ!

Recurrent Neural Networks (RNNs) สำหรับ Language Modeling ด้วย Keras