Модели «последовательность в последовательность»

Рекуррентные нейронные сети (RNN) для языкового моделирования с Keras

David Cecchini

Instructor

Последовательность в последовательность

Возможные архитектуры:

Много входов — один выход
- Анализ тональности
- Классификация
Много входов — много выходов
- Генерация текста
- Нейронный машинный перевод (NMT)

# Pre-trained model
model.generate_sheldon_phrase()

'knock knock. penny. do you have an epost is part in your expert, 
too bealie to play the tariment with last night.'

Построение моделей генерации текста:

Выберите единицу токена: символ или слово
- Слова требуют очень больших наборов данных (сотни миллионов предложений)
- Символы обучаются быстрее, но могут порождать опечатки
Подготовьте данные
- Сформируйте обучающую выборку из пар (прошлые токены, следующий токен)
Спроектируйте архитектуру модели
- Слой эмбеддингов, количество слоёв и т. д.
Обучайте и экспериментируйте

Нейронный машинный перевод: пример

# Pre-trained model
model.translate("Vamos jogar futebol?")

'Let's go play soccer?'

Построение моделей NMT:

Получите выборку переведённых предложений
- Например, из проекта Anki
Подготовьте данные
- Токенизируйте предложения входного языка
- Токенизируйте предложения выходного языка
Спроектируйте архитектуру модели
- Энкодер и декодер
Обучайте и экспериментируйте

В этой главе:

Генерация текста
- Используйте предобученную модель для генерации предложений
- Подготовка данных и построение модели
Нейронный машинный перевод (NMT)
- Комплексная NMT-модель

Рекуррентные нейронные сети (RNN) для языкового моделирования с Keras