Encerramento e o desafio final

Machine Translation with Keras

Thushan Ganegedara

Data Scientist and Author

O que você fez até agora

• Capítulo 1
  • Introdução à arquitetura encoder-decoder
  • Entendendo a camada GRU
• Capítulo 2
  • Implementando o encoder
  • Implementando o decoder
  • Implementando a camada de predição do decoder

O que você fez até agora

• Capítulo 3
  • Pré-processamento de dados
  • Treinando o modelo de tradução automática
  • Gerando traduções
• Capítulo 4
  • Introdução ao teacher forcing
  • Treinando um modelo com teacher forcing
  • Gerando traduções
  • Usando word embeddings para tradução automática

Modelos de tradução automática

• Modelo 1
  • O encoder consome palavras em inglês (onehot) e gera um vetor de contexto
  • O decoder consome o vetor de contexto e produz a tradução
• Modelo 2
  • O encoder consome palavras em inglês (onehot) e gera um vetor de contexto
  • O decoder consome uma palavra dada (onehot) da tradução e prediz a próxima
• Modelo 3
  • Em vez de onehot, usa vetores de palavras
  • Vetores de palavras capturam relações semânticas entre palavras

Desempenho de diferentes modelos

Novidades e leituras recomendadas

• Avaliando modelos de tradução automática
  • Pontuação BLEU (Papineni et al., BLEU: a Method for Automatic Evaluation of Machine Translation.)
• Word piece models
  • Permitem ao modelo evitar palavras fora do vocabulário (Sennrich et al., Neural Machine Translation of Rare Words with Subword Units.)
• Modelos Transformer (Vaswani et al., Attention Is All You Need)
  • Desempenho state-of-the-art em muitas tarefas de PLN, incluindo tradução automática
  • Tem arquitetura encoder-decoder, mas não usa modelos sequenciais
  • O tradutor do Google mais recente é um modelo Transformer

Boa sorte!

Machine Translation with Keras