Giới thiệu khóa học

Mạng nơ-ron hồi quy (RNN) cho Mô hình ngôn ngữ với Keras

David Cecchini

Data Scientist

Dữ liệu văn bản có sẵn trực tuyến

Hiển thị ví dụ dữ liệu văn bản trên Internet: bài báo, công ty Internet lớn, v.v.

Ứng dụng học máy cho dữ liệu văn bản

Bốn ứng dụng:

Phân tích cảm xúc
Phân loại đa lớp
Sinh văn bản
Dịch máy nơ-ron

Phân tích cảm xúc

Hiển thị hai biểu tượng cảm xúc: một mặt cười, một mặt không hài lòng

Phân loại đa lớp

Minh họa các lớp cho thể loại phim: khoa học viễn tưởng, lãng mạn, v.v.

Sinh văn bản

Ví dụ văn bản do máy tạo trong ứng dụng trò chuyện. Khi nhận câu hỏi, ứng dụng gợi ý câu trả lời.

Dịch máy dùng mạng nơ-ron

Hiển thị ví dụ dịch từ tiếng Bồ Đào Nha "Vamos jogar futebol esse domingo?" sang tiếng Anh "Let's play soccer this Sunday?"

Mạng nơ-ron hồi quy (RNN)

Biểu diễn RNN dạng trải phẳng, nhấn mạnh việc chia sẻ trọng số giữa các từ. Từ được đưa vào tuần tự đến từ cuối, nơi mô hình dự đoán nhãn cuối cùng.

Mô hình chuỗi-đến-chuỗi

Nhiều-đến-một: phân loại

Kiến trúc RNN cho bài toán phân loại. Mô hình chỉ dự đoán ở từ cuối.

Mô hình chuỗi-đến-chuỗi

Nhiều-đến-nhiều: sinh văn bản

Kiến trúc sinh văn bản. Mô hình gồm hai phần: văn bản đầu vào và văn bản sinh. Ở phần đầu vào, mô hình dự đoán ở bước cuối; ở phần sinh, mô hình dự đoán mỗi bước, dùng dự đoán trước làm đầu vào cho bước sau.

Mô hình chuỗi-đến-chuỗi

Nhiều-đến-nhiều: dịch máy nơ-ron

Kiến trúc Dịch máy nơ-ron. Gồm bộ mã hóa cho ngôn ngữ đầu vào và bộ giải mã cho ngôn ngữ đầu ra. Bộ mã hóa học mô hình ngôn ngữ cho đầu vào; bộ giải mã học mô hình ngôn ngữ cho đầu ra. Trạng thái cuối của bộ mã hóa được truyền sang bộ giải mã, bộ này không có đầu vào khác.

Mô hình chuỗi-đến-chuỗi

Nhiều-đến-nhiều: mô hình ngôn ngữ

Kiến trúc Mô hình ngôn ngữ. Mô hình dự đoán từ kế tiếp ở mỗi bước, và trong huấn luyện sẽ điều chỉnh trọng số để dự đoán đúng từ tiếp theo trong chuỗi.

Ayo berlatih!

Mạng nơ-ron hồi quy (RNN) cho Mô hình ngôn ngữ với Keras