แนะนำคอร์ส

Recurrent Neural Networks (RNNs) สำหรับ Language Modeling ด้วย Keras

David Cecchini

Data Scientist

ข้อมูลข้อความมีอยู่ทั่วไปบนโลกออนไลน์

แสดงตัวอย่างข้อมูลข้อความที่มีอยู่บนอินเทอร์เน็ต เช่น บทความข่าว และบริษัทอินเทอร์เน็ตรายใหญ่

การประยุกต์ใช้ machine learning กับข้อมูลข้อความ

การประยุกต์ใช้ 4 ด้าน:

การวิเคราะห์ความรู้สึก
การจำแนกประเภทหลายคลาส
การสร้างข้อความ
การแปลภาษาด้วยโครงข่ายประสาทเทียม

การวิเคราะห์ความรู้สึก

แสดงอีโมจิ 2 ตัว ได้แก่ หน้ายิ้มและหน้าไม่พอใจ

การจำแนกประเภทหลายคลาส

แสดงตัวแทนของแต่ละคลาสสำหรับประเภทภาพยนตร์ เช่น นิยายวิทยาศาสตร์ โรแมนติก เป็นต้น

การสร้างข้อความ

ตัวอย่างข้อความที่โมเดลสร้างขึ้นในแอปสนทนา เมื่อได้รับคำถาม แอปจะแนะนำคำตอบให้

การแปลภาษาด้วยโครงข่ายประสาทเทียม

แสดงตัวอย่างการแปลจากประโยคภาษาโปรตุเกส "Vamos jogar futebol esse domingo?" เป็นประโยคภาษาอังกฤษ "Let's play soccer this Sunday?"

Recurrent Neural Networks

แสดงโครงสร้าง RNN แบบคลี่ออก โดยเน้นว่าน้ำหนักระหว่างทุกคำเป็นค่าเดียวกัน ในโครงสร้างนี้ คำถูกป้อนเข้าโมเดลตามลำดับจนถึงคำสุดท้าย ซึ่งโมเดลจะทำการพยากรณ์คลาสขั้นสุดท้าย

โมเดล sequence to sequence

หลายต่อหนึ่ง: การจำแนกประเภท

สถาปัตยกรรมโมเดล RNN สำหรับปัญหาการจำแนกประเภท โมเดลจะพยากรณ์เฉพาะที่คำสุดท้าย

โมเดล sequence to sequence

หลายต่อหลาย: การสร้างข้อความ

สถาปัตยกรรมโมเดลสร้างข้อความ แบ่งเป็น 2 ส่วน คือ ข้อความอินพุตและข้อความที่สร้างขึ้น ในส่วนอินพุต โมเดลพยากรณ์เฉพาะขั้นตอนสุดท้าย ส่วนที่สร้างขึ้นจะพยากรณ์ทุกขั้นตอน โดยใช้ผลพยากรณ์แรกเป็นอินพุตของขั้นถัดไป

โมเดล sequence to sequence

หลายต่อหลาย: การแปลภาษาด้วยโครงข่ายประสาทเทียม

สถาปัตยกรรม Neural Machine Translation แบ่งเป็นส่วน encoder สำหรับภาษาต้นทาง และส่วน decoder สำหรับภาษาปลายทาง encoder เรียนรู้โมเดลภาษาของต้นทาง ส่วน decoder เรียนรู้โมเดลภาษาของปลายทาง โดยรับ state สุดท้ายจาก encoder เป็นอินพุตเท่านั้น

โมเดล sequence to sequence

หลายต่อหลาย: โมเดลภาษา

สถาปัตยกรรมโมเดลภาษา โมเดลพยายามพยากรณ์คำถัดไปในทุกขั้นตอน โดยในระหว่างการฝึก จะปรับค่าน้ำหนักเพื่อให้พยากรณ์คำถัดไปในลำดับได้แม่นยำขึ้น

มาฝึกกันเถอะ!

Recurrent Neural Networks (RNNs) สำหรับ Language Modeling ด้วย Keras