Rangkuman dan tantangan akhir

Penerjemahan Mesin dengan Keras

Thushan Ganegedara

Data Scientist and Author

Yang sudah Anda lakukan

Bab 1
- Pengenalan arsitektur encoder–decoder
- Memahami layer GRU
Bab 2
- Membangun encoder
- Membangun decoder
- Membangun layer prediksi decoder

Bab 3
- Prapemrosesan data
- Melatih model penerjemahan mesin
- Menghasilkan terjemahan
Bab 4
- Pengenalan teacher forcing
- Melatih model dengan teacher forcing
- Menghasilkan terjemahan
- Menggunakan word embedding untuk penerjemahan mesin

Model 1
- Encoder menerima kata Inggris (one-hot) dan menghasilkan context vector
- Decoder menerima context vector dan menghasilkan terjemahan
Model 2
- Encoder menerima kata Inggris (one-hot) dan menghasilkan context vector
- Decoder menerima suatu kata terjemahan (one-hot) dan memprediksi kata berikutnya
Model 3
- Mengganti one-hot dengan word vector
- Word vector menangkap hubungan semantik antarkata

Evaluasi model penerjemahan mesin
- Skor BLEU (Papineni dkk., BLEU: a Method for Automatic Evaluation of Machine Translation.)
Word piece models
- Membantu menghindari kata di luar kosakata (Sennrich dkk., Neural Machine Translation of Rare Words with Subword Units.)
Model Transformer (Vaswani dkk., Attention Is All You Need)
- Kinerja terbaik pada banyak tugas NLP termasuk penerjemahan
- Arsitektur encoder–decoder, tanpa model berurutan
- Penerjemah Google terbaru berbasis Transformer

Penerjemahan Mesin dengan Keras