Pengenalan RNN di dalam Keras

Recurrent Neural Networks (RNN) untuk Pemodelan Bahasa dengan Keras

David Cecchini

Data Scientist

Apa itu keras?

API tingkat tinggi
Berjalan di atas TensorFlow 2
Mudah dipasang dan digunakan

$pip install tensorflow

Eksperimen cepat:

from tensorflow import keras
from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import LSTM, Dense

keras.models

keras.models.Sequential

Menampilkan representasi makro kelas Sequential pada model keras. Setiap layer ditambahkan berurutan dari input ke output.

keras.models.Model

Menampilkan representasi makro kelas Model pada model keras. Kelas ini dapat memiliki banyak input dan banyak output, memungkinkan arsitektur yang lebih kompleks.

keras.layers

LSTM
GRU
Dense
Dropout
Embedding
Bidirectional

keras.preprocessing

keras.preprocessing.sequence.pad_sequences(texts, maxlen=3)

Contoh padding pada beberapa teks. Jika teks memiliki kata lebih sedikit dari ukuran padding, token "0" akan ditambahkan di awal teks; jika lebih banyak, kata-kata terakhir akan dihapus dari kalimat.

keras.datasets

Banyak dataset siap pakai

Ulasan film IMDB
Reuters newswire

Dan lainnya!

Untuk daftar lengkap dan contoh penggunaan, lihat dokumentasi keras

Membuat model

# Import required modules
from tensorflow import keras
from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Dense

# Instantiate the model class
model = Sequential()

# Add the layers
model.add(Dense(64, activation='relu', input_dim=100))
model.add(Dense(1, activation='sigmoid'))

# Compile the model
model.compile(optimizer='adam', loss='mean_squared_error', metrics=['accuracy'])

Melatih model

Metode .fit() melatih model pada data latih

model.fit(X_train, y_train, epochs=10, batch_size=32)

epochs menentukan berapa kali bobot diperbarui pada model
batch_size ukuran data tiap langkah

Evaluasi dan penggunaan model

Evaluasi model:

model.evaluate(X_test, y_test)

[0.3916562925338745, 0.89324]

Buat prediksi pada data baru:

model.predict(new_data)

array([[0.91483957],[0.47130653]], dtype=float32)

Contoh lengkap: Klasifikasi Sentimen IMDB

# Build and compile the model
model = Sequential()

model.add(Embedding(10000, 128))
model.add(LSTM(128, dropout=0.2))
model.add(Dense(1, activation='sigmoid'))

model.compile(loss='binary_crossentropy', optimizer='adam', metrics=['accuracy'])

# Training
model.fit(x_train, y_train, epochs=5)

# Evaluation
score, acc = model.evaluate(x_test, y_test)

Saatnya berlatih!

Recurrent Neural Networks (RNN) untuk Pemodelan Bahasa dengan Keras