Pengenalan kursus

Recurrent Neural Networks (RNN) untuk Pemodelan Bahasa dengan Keras

David Cecchini

Data Scientist

Data teks tersedia online

Menampilkan contoh data teks di Internet: artikel berita, perusahaan Internet besar, dll.

Recurrent Neural Networks (RNN) untuk Pemodelan Bahasa dengan Keras

Aplikasi machine learning untuk data teks

Empat aplikasi:

  • Analisis sentimen
  • Klasifikasi multi-kelas
  • Generasi teks
  • Neural machine translation
Recurrent Neural Networks (RNN) untuk Pemodelan Bahasa dengan Keras

Analisis sentimen

Menampilkan dua Emoji: wajah senang dan wajah tidak setuju

Recurrent Neural Networks (RNN) untuk Pemodelan Bahasa dengan Keras

Klasifikasi multi-kelas

Representasi kelas untuk genre film: fiksi ilmiah, romansa, dll.

Recurrent Neural Networks (RNN) untuk Pemodelan Bahasa dengan Keras

Generasi teks

Contoh teks yang dihasilkan mesin dalam aplikasi percakapan. Saat menerima kueri dari koneksi, aplikasi menyarankan jawaban.

Recurrent Neural Networks (RNN) untuk Pemodelan Bahasa dengan Keras

Neural machine translation

Menampilkan contoh terjemahan dari frasa Portugis "Vamos jogar futebol esse domingo?" ke frasa Inggris "Let's play soccer this Sunday?"

Recurrent Neural Networks (RNN) untuk Pemodelan Bahasa dengan Keras

Recurrent Neural Networks

Menampilkan representasi unrolled dari model RNN, menyoroti bobot antar kata yang dibagi. Kata dimasukkan berurutan hingga kata terakhir, tempat model membuat prediksi kelas akhir.

Recurrent Neural Networks (RNN) untuk Pemodelan Bahasa dengan Keras

Model sequence to sequence

Many to one: klasifikasi

Arsitektur model RNN untuk masalah klasifikasi. Model membuat prediksi hanya pada kata terakhir.

Recurrent Neural Networks (RNN) untuk Pemodelan Bahasa dengan Keras

Model sequence to sequence

Many to many: generasi teks

Arsitektur model generasi teks. Model terbagi dua: teks masukan dan teks yang dihasilkan. Pada masukan, prediksi dibuat hanya di langkah akhir; pada bagian keluaran, model memprediksi di setiap langkah, menggunakan prediksi pertama sebagai masukan kedua, dan seterusnya.

Recurrent Neural Networks (RNN) untuk Pemodelan Bahasa dengan Keras

Model sequence to sequence

Many to many: neural machine translation

Arsitektur Neural Machine Translation. Arsitektur dibagi menjadi encoder untuk bahasa masukan dan decoder untuk bahasa keluaran. Encoder mempelajari model bahasa untuk masukan; decoder mempelajari model bahasa untuk keluaran. Keadaan akhir encoder diteruskan ke decoder, yang tidak memiliki masukan lain.

Recurrent Neural Networks (RNN) untuk Pemodelan Bahasa dengan Keras

Model sequence to sequence

Many to many: language model

Arsitektur Language Model. Model mencoba memprediksi kata berikutnya di setiap langkah. Jadi, model memprediksi di setiap langkah dan saat pelatihan menyesuaikan bobot agar dapat memprediksi kata selanjutnya dalam sebuah urutan.

Recurrent Neural Networks (RNN) untuk Pemodelan Bahasa dengan Keras

Ayo berlatih!

Recurrent Neural Networks (RNN) untuk Pemodelan Bahasa dengan Keras

Preparing Video For Download...