Modelli Sequence to Sequence

Reti Neurali Ricorrenti (RNN) per il Language Modeling con Keras

David Cecchini

Instructor

Sequence to sequence

Possibili architetture:

Molti input, un output
- Analisi del sentiment
- Classificazione
Molti input, molti output
- Generazione di testo
- Neural Machine Translation (NMT)

# Modello pre-addestrato
model.generate_sheldon_phrase()

'knock knock. penny. do you have an epost is part in your expert, 
too bealie to play the tariment with last night.'

Come creare modelli di generazione di testo:

Scegli se il token è carattere o parola
- Le parole richiedono dataset enormi (centinaia di milioni di frasi)
- I caratteri si addestrano più in fretta, ma generano refusi
Prepara i dati
- Crea campioni (token passati, token successivo)
Progetta l’architettura
- Layer di embedding, numero di layer, ecc.
Addestra ed esegui esperimenti

Neural Machine Translation: esempio

# Modello pre-addestrato
model.translate("Vamos jogar futebol?")

'Let's go play soccer?'

Come creare modelli NMT:

Procurati frasi tradotte
- Ad esempio, il progetto Anki
Prepara i dati
- Tokenizza le frasi nella lingua di input
- Tokenizza le frasi nella lingua di output
Progetta l’architettura
- Encoder e decoder
Addestra ed esegui esperimenti

In questo capitolo:

Generazione di testo
- Usa un modello pre-addestrato per generare una frase
- Prepara i dati e costruisci il modello
Neural Machine Translation (NMT)
- Modello NMT tutto-in-uno

Reti Neurali Ricorrenti (RNN) per il Language Modeling con Keras