Klasyfikacja sentymentu – powrót do tematu

Rekurencyjne sieci neuronowe (RNN) do modelowania języka w Keras

David Cecchini

Data Scientist

Poprzednie wyniki

Nasz pierwszy model dał słabe wyniki.

model = Sequential()
model.add(SimpleRNN(units=16, input_shape=(None, 1)))
model.add(Dense(1, activation='sigmoid'))
model.compile(loss='binary_crossentropy', optimizer='sgd', metrics=['accuracy'])

model.evaluate(x_test, y_test)

$[0.6991182165145874, 0.495]

Ulepszanie modelu

Aby poprawić wydajność modelu, można:

Dodać warstwę embeddingów
Zwiększyć liczbę warstw
Dostroić parametry
Zwiększyć rozmiar słownika
Akceptować dłuższe sekwencje, zwiększając liczbę komórek pamięci

Unikanie przeuczenia

Modele RNN mogą być podatne na przeuczenie

Testuj różne rozmiary wsadów.
Dodaj warstwy Dropout.
Użyj parametrów dropout i recurrent_dropout w warstwach RNN.

# removes 20% of input to add noise
model.add(Dropout(rate=0.2))

# Removes 10% of input and memory cells respectively
model.add(LSTM(128, dropout=0.1, recurrent_dropout=0.1))

Dodatek: warstwa konwolucyjna

Poza zakresem kursu:

model.add(Embedding(vocabulary_size, wordvec_dim, ...))
model.add(Conv1D(num_filters=32, kernel_size=3, padding='same'))
model.add(MaxPooling1D(pool_size=2))

Warstwa konwolucyjna wykonuje selekcję cech na wektorze embeddingów
Osiąga najlepsze wyniki w wielu zadaniach NLP

Przykładowy model

model = Sequential()
model.add(Embedding(  vocabulary_size, wordvec_dim, trainable=True,
                      embeddings_initializer=Constant(glove_matrix), 
                      input_length=max_text_len, name="Embedding"))

model.add(Dense(wordvec_dim, activation='relu', name="Dense1"))

model.add(Dropout(rate=0.25))
model.add(LSTM(64, return_sequences=True, dropout=0.15, name="LSTM"))

model.add(GRU(64, return_sequences=False, dropout=0.15, name="GRU"))

model.add(Dense(64, name="Dense2"))
model.add(Dropout(rate=0.25))
model.add(Dense(32, name="Dense3"))

model.add(Dense(1, activation='sigmoid', name="Output"))

Czas na ćwiczenia!

Rekurencyjne sieci neuronowe (RNN) do modelowania języka w Keras