Моделі «послідовність у послідовність»

Recurrent Neural Networks (RNNs) для моделювання мови з Keras

David Cecchini

Instructor

Послідовність у послідовність

Можливі архітектури:

Багато вхідних, один вихід
- Аналіз тональності
- Класифікація
Багато вхідних — багато вихідних
- Генерація тексту
- Neural Machine Translation (NMT)

# Попередньо навчена модель
model.generate_sheldon_phrase()

'knock knock. penny. do you have an epost is part in your expert, 
too bealie to play the tariment with last night.'

Як створювати моделі генерації тексту:

Визначте, що таке токен: символи чи слова
- Слова потребують дуже великих наборів даних (сотні мільйонів речень)
- Символи навчаються швидше, але можуть давати друкарські помилки
Підготуйте дані
- Побудуйте тренувальні пари (попередні токени, наступний токен)
Спроєктуйте архітектуру
- Шар embedding, кількість шарів тощо
Навчайте й експериментуйте

Neural Machine Translation: приклад

# Попередньо навчена модель
model.translate("Vamos jogar futebol?")

'Let's go play soccer?'

Як створювати моделі NMT:

Зберіть вибірку перекладених речень
- Наприклад, проєкт Anki
Підготуйте дані
- Токенізуйте речення мовою вхідних даних
- Токенізуйте речення мовою вихідних даних
Спроєктуйте архітектуру
- Енкодер і декодер
Навчайте й експериментуйте

У цьому розділі:

Генерація тексту
- Використаєте попередньо навчену модель для створення речення
- Навчитеся готувати дані й будувати модель
Neural Machine Translation (NMT)
- Комплексна NMT-модель

Recurrent Neural Networks (RNNs) для моделювання мови з Keras