Підсумок і фінальний етап

Machine Translation з Keras

Thushan Ganegedara

Data Scientist and Author

Що ви вже зробили

• Розділ 1
  • Вступ до архітектури encoder–decoder
  • Розуміння шару GRU
• Розділ 2
  • Реалізація encoder'а
  • Реалізація decoder'а
  • Реалізація шару передбачення decoder'а

Що ви вже зробили

• Розділ 3
  • Передобробка даних
  • Навчання моделі машинного перекладу
  • Генерування перекладів
• Розділ 4
  • Вступ до teacher forcing
  • Навчання моделі з teacher forcing
  • Генерування перекладів
  • Використання word embeddings для машинного перекладу

Моделі машинного перекладу

• Модель 1
  • Encoder споживає англійські слова (onehot) і виводить контекстний вектор
  • Decoder споживає контекстний вектор і виводить переклад
• Модель 2
  • Encoder споживає англійські слова (onehot) і виводить контекстний вектор
  • Decoder споживає задане слово (onehot) перекладу і передбачає наступне слово
• Модель 3
  • Замість onehot використовує векторні подання слів
  • Такі вектори відображають семантичні зв'язки між словами

Продуктивність різних моделей

Останні розробки та додаткові матеріали

• Оцінювання моделей машинного перекладу
  • Оцінка BLEU (Papineni et al., BLEU: a Method for Automatic Evaluation of Machine Translation.)
• Word piece models
  • Дають змогу уникати позасловникових слів (Sennrich et al., Neural Machine Translation of Rare Words with Subword Units.)
• Transformer-моделі (Vaswani et al., Attention Is All You Need)
  • Найкращі результати в багатьох NLP-завданнях, зокрема в перекладі
  • Мають архітектуру encoder–decoder, але без послідовних моделей
  • Останній перекладач Google — це модель Transformer

Успіхів!

Machine Translation з Keras