Introduzione al corso

Reti Neurali Ricorrenti (RNN) per il Language Modeling con Keras

David Cecchini

Data Scientist

I testi sono disponibili online

Mostra esempi di testi disponibili online: articoli di news, grandi aziende Internet, ecc.

Applicazioni del machine learning ai testi

Quattro applicazioni:

Sentiment analysis
Classificazione multiclasse
Generazione di testo
Traduzione automatica neurale

Sentiment analysis

Mostra due emoji: una faccina felice e una contrariata

Classificazione multiclasse

Rappresentazioni di classi per generi cinematografici: fantascienza, romance, ecc.

Generazione di testo

Esempio di testo generato in un’app di chat. Alla ricezione di una richiesta, l’app suggerisce risposte.

Traduzione automatica neurale

Mostra un esempio di traduzione dalla frase portoghese "Vamos jogar futebol esse domingo?" alla frase inglese "Let's play soccer this Sunday?"

Reti neurali ricorrenti

Mostra la rappresentazione “unrolled” di un RNN, evidenziando che i pesi tra le parole sono condivisi. Le parole entrano in sequenza e il modello fa la previsione finale dell’etichetta all’ultimo passo.

Modelli sequence-to-sequence

Molti a uno: classificazione

Architettura RNN per problemi di classificazione. Il modello fa una previsione solo sull’ultima parola.

Modelli sequence-to-sequence

Molti a molti: generazione di testo

Architettura per generazione di testo. Il modello ha due parti: testo in input e testo generato. Nell’input predice solo all’ultimo passo; nella parte generata predice a ogni passo, usando l’output precedente come input successivo.

Modelli sequence-to-sequence

Molti a molti: traduzione automatica neurale

Architettura NMT. Divisa in encoder (lingua di input) e decoder (lingua di output). L’encoder apprende il modello di lingua di input, il decoder quello di output. Lo stato finale dell’encoder passa al decoder, che non ha altri input.

Modelli sequence-to-sequence

Molti a molti: language model

Architettura di un language model. Il modello prova a prevedere la parola successiva a ogni passo. In training adatta i pesi per prevedere la parola seguente nella sequenza.

Passons à la pratique !

Reti Neurali Ricorrenti (RNN) per il Language Modeling con Keras