Modelos Sequence to Sequence

Redes Neurais Recorrentes (RNNs) para Modelagem de Linguagem com Keras

David Cecchini

Instructor

Sequence to sequence

Arquiteturas possíveis:

Muitos inputs com uma saída
- Análise de sentimento
- Classificação
Muitos inputs para muitas saídas
- Geração de texto
- Neural Machine Translation (NMT)

# Modelo pré-treinado
model.generate_sheldon_phrase()

'knock knock. penny. do you have an epost is part in your expert, 
too bealie to play the tariment with last night.'

Como construir modelos de geração de texto:

Defina se o token será caractere ou palavra
- Palavras exigem conjuntos de dados enormes (centenas de milhões de sentenças)
- Caracteres treinam mais rápido, mas podem gerar erros de digitação
Prepare os dados
- Crie amostras de treino com exemplos (tokens passados, próximo token)
Defina a arquitetura do modelo
- Camada de embedding, número de camadas, etc.
Treine e experimente

Neural Machine Translation: exemplo

# Modelo pré-treinado
model.translate("Vamos jogar futebol?")

'Let's go play soccer?'

Como construir modelos NMT:

Obtenha um conjunto de sentenças traduzidas
- Por exemplo, o projeto Anki
Prepare os dados
- Tokenize as sentenças do idioma de entrada
- Tokenize as sentenças do idioma de saída
Defina a arquitetura do modelo
- Encoder e decoder
Treine e experimente

Neste capítulo:

Geração de texto
- Use um modelo pré-treinado para gerar uma frase
- Aprenda a preparar os dados e construir o modelo
Neural Machine Translation (NMT)
- Modelo NMT completo

Redes Neurais Recorrentes (RNNs) para Modelagem de Linguagem com Keras