Вступ до RNN у Keras

Recurrent Neural Networks (RNNs) для моделювання мови з Keras

David Cecchini

Data Scientist

Що таке keras?

Високорівневий API
Працює поверх TensorFlow 2
Легко встановити й використовувати

$pip install tensorflow

Швидке експериментування:

from tensorflow import keras
from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import LSTM, Dense

keras.models

keras.models.Sequential

Показано схему класу Sequential у keras: шари додаються послідовно від входу до виходу.

keras.models.Model

Показано схему класу Model у keras: може мати кілька входів і виходів для складніших архітектур.

keras.layers

LSTM
GRU
Dense
Dropout
Embedding
Bidirectional

keras.preprocessing

keras.preprocessing.sequence.pad_sequences(texts, maxlen=3)

Приклад доповнення (padding): якщо слів менше за розмір доповнення, на початок додається токен «0»; якщо більше — останні слова відкидаються.

keras.datasets

Багато корисних наборів даних

Рецензії IMDB
Новини Reuters

І не тільки!

Повний перелік та приклади див. у документації keras

Створення моделі

# Import required modules
from tensorflow import keras
from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Dense

# Instantiate the model class
model = Sequential()

# Add the layers
model.add(Dense(64, activation='relu', input_dim=100))
model.add(Dense(1, activation='sigmoid'))

# Compile the model
model.compile(optimizer='adam', loss='mean_squared_error', metrics=['accuracy'])

Навчання моделі

Метод .fit() навчає модель на тренувальному наборі

model.fit(X_train, y_train, epochs=10, batch_size=32)

epochs — скільки разів оновлюються ваги моделі
batch_size — обсяг даних на кроці

Оцінка та використання моделі

Оцінювання моделі:

model.evaluate(X_test, y_test)

[0.3916562925338745, 0.89324]

Прогнозування на нових даних:

model.predict(new_data)

array([[0.91483957],[0.47130653]], dtype=float32)

Повний приклад: класифікація тональності IMDB

# Build and compile the model
model = Sequential()

model.add(Embedding(10000, 128))
model.add(LSTM(128, dropout=0.2))
model.add(Dense(1, activation='sigmoid'))

model.compile(loss='binary_crossentropy', optimizer='adam', metrics=['accuracy'])

# Training
model.fit(x_train, y_train, epochs=5)

# Evaluation
score, acc = model.evaluate(x_test, y_test)

Давайте потренуємось!

Recurrent Neural Networks (RNNs) для моделювання мови з Keras