Mô hình Sequence to Sequence
Mạng nơ-ron hồi quy (RNN) cho Mô hình ngôn ngữ với Keras
David Cecchini
Instructor
Sequence to sequence
Các kiến trúc khả dĩ:
- Nhiều đầu vào, một đầu ra
- Phân tích cảm xúc
- Phân loại
- Nhiều đầu vào, nhiều đầu ra
- Sinh văn bản
- Dịch máy neural (NMT)
Sinh văn bản: ví dụ
Sinh văn bản: ví dụ
# Mô hình tiền huấn luyện
model.generate_sheldon_phrase()
'knock knock. penny. do you have an epost is part in your expert,
too bealie to play the tariment with last night.'
Sinh văn bản: mô hình hóa
Cách xây dựng mô hình sinh văn bản:
- Quyết định token là ký tự hay từ
- Dùng từ cần bộ dữ liệu rất lớn (hàng trăm triệu câu)
- Dùng ký tự huấn luyện nhanh hơn nhưng dễ sinh lỗi chính tả
- Chuẩn bị dữ liệu
- Tạo mẫu huấn luyện (token trước, token tiếp theo)
- Thiết kế kiến trúc
- Lớp embedding, số lớp, v.v.
- Huấn luyện và thử nghiệm
NMT: ví dụ
Dịch máy neural: ví dụ
# Mô hình tiền huấn luyện
model.translate("Vamos jogar futebol?")
'Let's go play soccer?'
NMT: mô hình hóa
Cách xây dựng mô hình NMT:
- Lấy mẫu câu đã dịch
- Ví dụ: dự án Anki
- Chuẩn bị dữ liệu
- Tokenize câu ngôn ngữ đầu vào
- Tokenize câu ngôn ngữ đầu ra
- Thiết kế kiến trúc
- Encoder và decoder
- Huấn luyện và thử nghiệm
Tổng quan chương
Trong chương này:
- Sinh văn bản
- Dùng mô hình tiền huấn luyện để sinh câu
- Học cách chuẩn bị dữ liệu và xây dựng mô hình
- Dịch máy neural (NMT)
- Mô hình NMT tất-cả-trong-một
Ayo berlatih!
Mạng nơ-ron hồi quy (RNN) cho Mô hình ngôn ngữ với Keras
