Duygu sınıflandırmasına geri dönüş

Keras ile Dil Modellemesi için Yinelenen Sinir Ağları (RNN)

David Cecchini

Data Scientist

Önceki sonuçlar

İlk modelimizde zayıf sonuçlar aldık.

model = Sequential()
model.add(SimpleRNN(units=16, input_shape=(None, 1)))
model.add(Dense(1, activation='sigmoid'))
model.compile(loss='binary_crossentropy', optimizer='sgd', metrics=['accuracy'])

model.evaluate(x_test, y_test)

$[0.6991182165145874, 0.495]

Modeli iyileştirme

Modelin başarımını artırmak için şunları yapabiliriz:

Gömme katmanı ekleyin
Katman sayısını artırın
Parametreleri ayarlayın
Sözlük boyutunu büyütün
Daha uzun cümleleri daha fazla bellek hücresiyle kabul edin

Aşırı uyumu önleme

RNN modelleri aşırı uyuma yatkındır

Farklı yığın (batch) boyutlarını deneyin.
Dropout katmanları ekleyin.
RNN katmanlarında dropout ve recurrent_dropout parametrelerini kullanın.

# girdi verisinin %20'sini gürültü için kaldırır
model.add(Dropout(rate=0.2))

# Sırasıyla girdi ve bellek hücrelerinin %10'unu kaldırır
model.add(LSTM(128, dropout=0.1, recurrent_dropout=0.1))

Ekstra: Evrişim Katmanı

Kapsam dışı:

model.add(Embedding(vocabulary_size, wordvec_dim, ...))
model.add(Conv1D(num_filters=32, kernel_size=3, padding='same'))
model.add(MaxPooling1D(pool_size=2))

Evrişim katmanı, gömme vektöründe öznitelik seçimi yapar
Pek çok NLP probleminde güncel en iyi sonuçlara ulaşır

Örnek bir model

model = Sequential()
model.add(Embedding(  vocabulary_size, wordvec_dim, trainable=True,
                      embeddings_initializer=Constant(glove_matrix), 
                      input_length=max_text_len, name="Embedding"))

model.add(Dense(wordvec_dim, activation='relu', name="Dense1"))

model.add(Dropout(rate=0.25))
model.add(LSTM(64, return_sequences=True, dropout=0.15, name="LSTM"))

model.add(GRU(64, return_sequences=False, dropout=0.15, name="GRU"))

model.add(Dense(64, name="Dense2"))
model.add(Dropout(rate=0.25))
model.add(Dense(32, name="Dense3"))

model.add(Dense(1, activation='sigmoid', name="Output"))

Haydi pratik yapalım!

Keras ile Dil Modellemesi için Yinelenen Sinir Ağları (RNN)