Introdução a RNN no Keras

Redes Neurais Recorrentes (RNNs) para Modelagem de Linguagem com Keras

David Cecchini

Data Scientist

O que é o keras?

  • API de alto nível

  • Roda sobre TensorFlow 2

  • Fácil de instalar e usar

$pip install tensorflow

Experimentação rápida:

from tensorflow import keras
from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import LSTM, Dense
Redes Neurais Recorrentes (RNNs) para Modelagem de Linguagem com Keras

keras.models

keras.models.Sequential

Mostra uma visão macro da classe Sequential dos modelos do keras. Cada camada é adicionada em sequência, da entrada à saída.

keras.models.Model

Mostra uma visão macro da classe Model dos modelos do keras. Essa classe pode ter múltiplas entradas e saídas, permitindo arquiteturas mais complexas.

Redes Neurais Recorrentes (RNNs) para Modelagem de Linguagem com Keras

keras.layers

  1. LSTM
  2. GRU
  3. Dense
  4. Dropout
  5. Embedding
  6. Bidirectional
Redes Neurais Recorrentes (RNNs) para Modelagem de Linguagem com Keras

keras.preprocessing

keras.preprocessing.sequence.pad_sequences(texts, maxlen=3)

Exemplo de padding em alguns textos. Se o texto tiver menos palavras que o tamanho de padding, um token "0" será adicionado no início; se tiver mais, as últimas palavras serão removidas.

Redes Neurais Recorrentes (RNNs) para Modelagem de Linguagem com Keras

keras.datasets

Muitos conjuntos de dados úteis

  • Reviews de filmes do IMDB
  • Reuters newswire

E mais!

Para a lista completa e exemplos de uso, veja a documentação do keras

Redes Neurais Recorrentes (RNNs) para Modelagem de Linguagem com Keras

Criando um modelo

# Importar os módulos necessários
from tensorflow import keras
from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Dense
# Instanciar a classe do modelo
model = Sequential()
# Adicionar as camadas
model.add(Dense(64, activation='relu', input_dim=100))
model.add(Dense(1, activation='sigmoid'))
# Compilar o modelo
model.compile(optimizer='adam', loss='mean_squared_error', metrics=['accuracy'])
Redes Neurais Recorrentes (RNNs) para Modelagem de Linguagem com Keras

Treinando o modelo

O método .fit() treina o modelo no conjunto de treino

model.fit(X_train, y_train, epochs=10, batch_size=32)
  1. epochs definem quantas atualizações de pesos serão feitas no modelo
  2. batch_size é o tamanho dos dados em cada passo
Redes Neurais Recorrentes (RNNs) para Modelagem de Linguagem com Keras

Avaliação e uso do modelo

Avaliar o modelo:

model.evaluate(X_test, y_test)
[0.3916562925338745, 0.89324]

Fazer previsões em novos dados:

model.predict(new_data)
array([[0.91483957],[0.47130653]], dtype=float32)
Redes Neurais Recorrentes (RNNs) para Modelagem de Linguagem com Keras

Exemplo completo: Classificação de Sentimento do IMDB

# Construir e compilar o modelo
model = Sequential()

model.add(Embedding(10000, 128)) model.add(LSTM(128, dropout=0.2)) model.add(Dense(1, activation='sigmoid'))
model.compile(loss='binary_crossentropy', optimizer='adam', metrics=['accuracy'])
# Treinamento
model.fit(x_train, y_train, epochs=5)
# Avaliação
score, acc = model.evaluate(x_test, y_test)
Redes Neurais Recorrentes (RNNs) para Modelagem de Linguagem com Keras

Vamos praticar!

Redes Neurais Recorrentes (RNNs) para Modelagem de Linguagem com Keras

Preparing Video For Download...