สรุปและบทสรุปขั้นสุดท้าย

Machine Translation ด้วย Keras

Thushan Ganegedara

Data Scientist and Author

สิ่งที่ได้เรียนมาแล้ว

• บทที่ 1
  • แนะนำสถาปัตยกรรม encoder-decoder
  • ทำความเข้าใจ GRU layer
• บทที่ 2
  • สร้าง encoder
  • สร้าง decoder
  • สร้าง decoder prediction layer

สิ่งที่ได้เรียนมาแล้ว

• บทที่ 3
  • การเตรียมข้อมูล
  • การฝึกโมเดลแปลภาษา
  • การสร้างคำแปล
• บทที่ 4
  • แนะนำ teacher forcing
  • การฝึกโมเดลด้วย teacher forcing
  • การสร้างคำแปล
  • การใช้ word embedding สำหรับการแปลภาษา

โมเดลแปลภาษาด้วยเครื่อง

• โมเดลที่ 1
  • encoder รับคำภาษาอังกฤษ (แบบ onehot encoded) และส่งออก context vector
  • decoder รับ context vector และส่งออกคำแปล
• โมเดลที่ 2
  • encoder รับคำภาษาอังกฤษ (แบบ onehot encoded) และส่งออก context vector
  • decoder รับคำในคำแปล (แบบ onehot encoded) แล้วทำนายคำถัดไป
• โมเดลที่ 3
  • ใช้ word vector แทน onehot encoding
  • word vector จับความสัมพันธ์เชิงความหมายระหว่างคำ

ประสิทธิภาพของโมเดลแต่ละแบบ

ความก้าวหน้าล่าสุดและแหล่งอ่านเพิ่มเติม

• การประเมินโมเดลแปลภาษา
  • BLEU score (Papineni et al., BLEU: a Method for Automatic Evaluation of Machine Translation.)
• Word piece model
  • ช่วยให้โมเดลหลีกเลี่ยงคำที่ไม่มีในพจนานุกรม (Sennrich et al., Neural Machine Translation of Rare Words with Subword Units.)
• Transformer model (Vaswani et al., Attention Is All You Need)
  • ให้ประสิทธิภาพระดับแนวหน้าในงาน NLP หลายประเภท รวมถึงการแปลภาษา
  • มีสถาปัตยกรรม encoder-decoder แต่ไม่ใช้โมเดลแบบลำดับ
  • Google Translate รุ่นล่าสุดเป็น Transformer model

ขอให้โชคดี!

Machine Translation ด้วย Keras