โมเดล Sequence to Sequence
Recurrent Neural Networks (RNNs) สำหรับ Language Modeling ด้วย Keras
David Cecchini
Instructor
Sequence to sequence
สถาปัตยกรรมที่เป็นไปได้:
- หลาย input ต่อหนึ่ง output
- การวิเคราะห์ความรู้สึก
- การจำแนกประเภท
- หลาย input ต่อหลาย output
- การสร้างข้อความ
- Neural Machine Translation (NMT)
การสร้างข้อความ: ตัวอย่าง
การสร้างข้อความ: ตัวอย่าง
# Pre-trained model
model.generate_sheldon_phrase()
'knock knock. penny. do you have an epost is part in your expert,
too bealie to play the tariment with last night.'
การสร้างข้อความ: การสร้างโมเดล
วิธีสร้างโมเดลสำหรับการสร้างข้อความ:
- กำหนด token ที่จะใช้ว่าเป็นอักขระหรือคำ
- การใช้คำต้องการชุดข้อมูลขนาดใหญ่มาก (หลายร้อยล้านประโยค)
- การใช้อักขระฝึกได้เร็วกว่า แต่อาจเกิดคำผิดได้
- เตรียมข้อมูล
- สร้างตัวอย่างการฝึกด้วยคู่ (token ก่อนหน้า, token ถัดไป)
- ออกแบบสถาปัตยกรรมโมเดล
- Embedding layer, จำนวน layer และอื่น ๆ
- ฝึกและทดลอง
NMT: ตัวอย่าง
Neural Machine Translation: ตัวอย่าง
# Pre-trained model
model.translate("Vamos jogar futebol?")
'Let's go play soccer?'
NMT: การสร้างโมเดล
วิธีสร้างโมเดล NMT:
- หาชุดประโยคที่แปลแล้ว
- ตัวอย่างเช่น Anki project
- เตรียมข้อมูล
- Tokenize ประโยคภาษา input
- Tokenize ประโยคภาษา output
- ออกแบบสถาปัตยกรรมโมเดล
- Encoder และ decoder
- ฝึกและทดลอง
โครงร่างบท
เนื้อหาในบทนี้:
- การสร้างข้อความ
- ใช้โมเดลที่ฝึกมาแล้วเพื่อสร้างประโยค
- เรียนรู้การเตรียมข้อมูลและสร้างโมเดล
- Neural Machine Translation (NMT)
- โมเดล NMT แบบครบในที่เดียว
มาฝึกกันเถอะ!
Recurrent Neural Networks (RNNs) สำหรับ Language Modeling ด้วย Keras
