Model Sequence to Sequence

Recurrent Neural Networks (RNN) untuk Pemodelan Bahasa dengan Keras

David Cecchini

Instructor

Sequence to sequence

Arsitektur yang mungkin:

Banyak masukan, satu keluaran
- Analisis sentimen
- Klasifikasi
Banyak masukan ke banyak keluaran
- Generasi teks
- Neural Machine Translation (NMT)

# Model terlatih
model.generate_sheldon_phrase()

'knock knock. penny. do you have an epost is part in your expert, 
too bealie to play the tariment with last night.'

Cara membangun model generasi teks:

Tentukan token berupa karakter atau kata
- Kata butuh himpunan data sangat besar (ratusan juta kalimat)
- Karakter dilatih lebih cepat, tapi bisa menghasilkan typo
Siapkan data
- Bangun sampel latih dengan pasangan (token lampau, token berikutnya)
Rancang arsitektur model
- Lapisan embedding, jumlah lapisan, dll.
Latih dan bereksperimen

Neural Machine Translation: contoh

# Model terlatih
model.translate("Vamos jogar futebol?")

'Let's go play soccer?'

Cara membangun model NMT:

Dapatkan sampel kalimat terjemahan
- Misalnya, proyek Anki
Siapkan data
- Tokenisasi kalimat bahasa masukan
- Tokenisasi kalimat bahasa keluaran
Rancang arsitektur model
- Encoder dan decoder
Latih dan bereksperimen

Di bab ini:

Generasi Teks
- Gunakan model terlatih untuk membuat kalimat
- Pelajari menyiapkan data dan membangun model
Neural Machine Translation (NMT)
- Model NMT serba-ada

Recurrent Neural Networks (RNN) untuk Pemodelan Bahasa dengan Keras