Model Generasi Teks

Recurrent Neural Networks (RNN) untuk Pemodelan Bahasa dengan Keras

David Cecchini

Data Scientist

Mirip model klasifikasi

Model Generasi Teks:

Menganggap kosakata sebagai kelas
Lapisan terakhir menerapkan softmax dengan jumlah unit sebesar ukuran kosakata
Menggunakan categorical_crossentropy sebagai fungsi loss

Contoh model dengan keras

model = Sequential()

model.add(LSTM(units, input_shape=(chars_window, n_vocab), 
               dropout=0.15, recurrent_dropout=0.15, return_sequences=True))

model.add(LSTM(units, dropout=dropout, recurrent_dropout=0.15, 
               return_sequences=False))

model.add(Dense(n_vocab, activation='softmax'))

model.compile(loss='categorical_crossentropy', optimizer='adam')

Namun bukan benar-benar model klasifikasi

Perbedaan dengan klasifikasi:

Menghitung loss, tetapi bukan metrik kinerja (akurasi)
- Manusia menilai hasil dan mengevaluasi kinerja.
- Jika belum baik, latih lebih banyak epoch atau tambah kompleksitas model (lebih banyak sel memori, tambah layer, dll.).
Dipakai dengan aturan generasi sesuai tugas
- Menghasilkan karakter berikutnya
- Menghasilkan satu kata
- Menghasilkan satu kalimat
- Menghasilkan satu paragraf

Aplikasi lain

Pembuatan nama
- Nama bayi
- Nama bintang baru, dll.
Menghasilkan teks bertanda
- LaTeX
- Markdown
- XML, dll.
- Kode pemrograman
Artikel berita
Chatbot

Penyiapan data

Menggambarkan proses penyiapan data untuk tugas generasi teks. Mengubah teks menjadi deret angka dan memecah data latih menjadi X dan Y dengan mempertahankan deret berpanjang tetap pada X dan karakter berikutnya pada Y.

Ayo berlatih!

Recurrent Neural Networks (RNN) untuk Pemodelan Bahasa dengan Keras