Introdução ao curso

Redes Neurais Recorrentes (RNNs) para Modelagem de Linguagem com Keras

David Cecchini

Data Scientist

Há dados de texto online

Mostra exemplos de dados de texto na Internet: notícias, grandes empresas de Internet etc.

Aplicações de machine learning em texto

Quatro aplicações:

Análise de sentimento
Classificação multiclasse
Geração de texto
Tradução neural automática

Análise de sentimento

Mostra dois emojis: um rosto feliz e um de desaprovação

Classificação multiclasse

Representações de classes para gêneros de filmes: ficção científica, romance etc.

Geração de texto

Exemplo de texto gerado por máquina em um app de conversa. Ao receber uma mensagem, o app sugere respostas.

Tradução neural automática

Exemplo de tradução entre a frase em português "Vamos jogar futebol esse domingo?" e a frase em inglês "Let's play soccer this Sunday?"

Redes neurais recorrentes

Exibe a representação desenrolada de uma RNN, destacando que os pesos entre palavras são compartilhados. As palavras entram em sequência até a última, quando o modelo faz a predição final da classe.

Modelos sequence to sequence

Many to one: classificação

Arquitetura de RNN para classificação. O modelo faz a predição apenas na última palavra.

Modelos sequence to sequence

Many to many: geração de texto

Arquitetura de geração de texto. O modelo tem duas partes: texto de entrada e texto gerado. Na entrada, prediz só no passo final; na geração, prediz a cada passo, usando a primeira predição como entrada da segunda e assim por diante.

Modelos sequence to sequence

Many to many: tradução neural automática

Arquitetura de Tradução Neural. Divide-se em encoder e decoder para os idiomas de entrada e saída. O encoder aprende o modelo de linguagem da entrada; o decoder, o da saída. O estado final do encoder é passado ao decoder, que não tem outra entrada.

Modelos sequence to sequence

Many to many: modelo de linguagem

Arquitetura de Modelo de Linguagem. Aqui, o modelo tenta prever a próxima palavra em cada passo. Assim, prediz a cada passo e, no treino, ajusta os pesos para prever a próxima palavra na sequência.

Vamos praticar!

Redes Neurais Recorrentes (RNNs) para Modelagem de Linguagem com Keras