Итоги и финальное испытание

Машинный перевод с Keras

Thushan Ganegedara

Data Scientist and Author

Что вы уже сделали

Глава 1
- Введение в архитектуру «кодировщик — декодировщик»
- Понимание слоя GRU
Глава 2
- Реализация кодировщика
- Реализация декодировщика
- Реализация слоя предсказания декодировщика

Глава 3
- Предобработка данных
- Обучение модели машинного перевода
- Генерация переводов
Глава 4
- Введение в teacher forcing
- Обучение модели с teacher forcing
- Генерация переводов
- Использование векторных представлений слов для машинного перевода

Модель 1
- Кодировщик принимает слова на английском (в формате one-hot) и выдаёт контекстный вектор
- Декодировщик принимает контекстный вектор и выдаёт перевод
Модель 2
- Кодировщик принимает слова на английском (в формате one-hot) и выдаёт контекстный вектор
- Декодировщик принимает заданное слово перевода (в формате one-hot) и предсказывает следующее слово
Модель 3
- Вместо one-hot-кодирования использует векторы слов
- Векторы слов фиксируют семантические связи между словами

Оценка моделей машинного перевода
- Метрика BLEU (Papineni et al., BLEU: a Method for Automatic Evaluation of Machine Translation.)
Модели на основе частей слов
- Позволяют модели избегать слов вне словаря (Sennrich et al., Neural Machine Translation of Rare Words with Subword Units.)
Трансформерные модели (Vaswani et al., Attention Is All You Need)
- Лучшие результаты во многих задачах NLP, включая машинный перевод
- Используют архитектуру «кодировщик — декодировщик», но без последовательных моделей
- Последний переводчик Google основан на трансформере

Машинный перевод с Keras