Klasifikasi sentimen: tinjauan ulang

Recurrent Neural Networks (RNN) untuk Pemodelan Bahasa dengan Keras

David Cecchini

Data Scientist

Hasil sebelumnya

Hasil awal model kita kurang baik.

model = Sequential()
model.add(SimpleRNN(units=16, input_shape=(None, 1)))
model.add(Dense(1, activation='sigmoid'))
model.compile(loss='binary_crossentropy', optimizer='sgd', metrics=['accuracy'])

model.evaluate(x_test, y_test)

$[0.6991182165145874, 0.495]

Meningkatkan model

Untuk meningkatkan kinerja model, kita bisa:

Tambahkan lapisan embedding
Tambah jumlah lapisan
Atur parameter
Perbesar ukuran kosakata
Terima kalimat lebih panjang dengan lebih banyak sel memori

Menghindari overfitting

Model RNN bisa overfit

Uji berbagai ukuran batch.
Tambahkan lapisan Dropout.
Tambahkan parameter dropout dan recurrent_dropout pada lapisan RNN.

# menghapus 20% input untuk menambah noise
model.add(Dropout(rate=0.2))

# Masing-masing menghapus 10% input dan sel memori
model.add(LSTM(128, dropout=0.1, recurrent_dropout=0.1))

Ekstra: Convolution Layer

Di luar cakupan:

model.add(Embedding(vocabulary_size, wordvec_dim, ...))
model.add(Conv1D(num_filters=32, kernel_size=3, padding='same'))
model.add(MaxPooling1D(pool_size=2))

Lapisan konvolusi melakukan seleksi fitur pada vektor embedding
Mencapai hasil state-of-the-art di banyak masalah NLP

Contoh model

model = Sequential()
model.add(Embedding(  vocabulary_size, wordvec_dim, trainable=True,
                      embeddings_initializer=Constant(glove_matrix), 
                      input_length=max_text_len, name="Embedding"))

model.add(Dense(wordvec_dim, activation='relu', name="Dense1"))

model.add(Dropout(rate=0.25))
model.add(LSTM(64, return_sequences=True, dropout=0.15, name="LSTM"))

model.add(GRU(64, return_sequences=False, dropout=0.15, name="GRU"))

model.add(Dense(64, name="Dense2"))
model.add(Dropout(rate=0.25))
model.add(Dense(32, name="Dense3"))

model.add(Dense(1, activation='sigmoid', name="Output"))

Ayo berlatih!

Recurrent Neural Networks (RNN) untuk Pemodelan Bahasa dengan Keras