Modele Sequence to Sequence

Rețele Neuronale Recurente (RNN) pentru Modelare a Limbajului cu Keras

David Cecchini

Instructor

Sequence to sequence

Arhitecturi posibile:

Intrări multiple, o singură ieșire
- Analiza sentimentelor
- Clasificare
Intrări multiple, ieșiri multiple
- Generarea textului
- Traducere automată neuronală (NMT)

# Pre-trained model
model.generate_sheldon_phrase()

'knock knock. penny. do you have an epost is part in your expert, 
too bealie to play the tariment with last night.'

Cum se construiesc modele de generare a textului:

Alegeți tipul de token: caractere sau cuvinte
- Cuvintele necesită seturi de date foarte mari (sute de milioane de propoziții)
- Caracterele se antrenează mai rapid, dar pot genera greșeli de scriere
Pregătiți datele
- Construiți eșantioane de antrenare cu exemple (tokeni anteriori, token următor)
Proiectați arhitectura modelului
- Strat de embedding, număr de straturi etc.
Antrenați și experimentați

Traducere automată neuronală: exemplu

# Pre-trained model
model.translate("Vamos jogar futebol?")

'Let's go play soccer?'

Cum se construiesc modele NMT:

Obțineți un set de propoziții traduse
- De exemplu, proiectul Anki
Pregătiți datele
- Tokenizați propozițiile din limba sursă
- Tokenizați propozițiile din limba țintă
Proiectați arhitectura modelului
- Encoder și decoder
Antrenați și experimentați

În acest capitol:

Generarea textului
- Utilizarea unui model pre-antrenat pentru a genera o propoziție
- Pregătirea datelor și construirea modelului
Traducere automată neuronală (NMT)
- Model NMT complet integrat

Rețele Neuronale Recurente (RNN) pentru Modelare a Limbajului cu Keras