Modèles séquence à séquence

Réseaux de neurones récurrents (RNN) pour la modélisation du langage avec Keras

David Cecchini

Instructor

Séquence à séquence

Architectures possibles :

Entrées multiples, une sortie
- Analyse de sentiments
- Classification
Entrées multiples et sorties multiples
- Génération de texte
- Neural Machine Translation (NMT)

# Modèle préentraîné
model.generate_sheldon_phrase()

'knock knock. penny. do you have an epost is part in your expert, 
too bealie to play the tariment with last night.'

Comment créer des modèles de génération de texte :

Choisir le type de jeton : caractères ou mots
- Les mots exigent d'énormes jeux de données (centaines de millions de phrases)
- Les caractères s'entraînent plus vite, mais peuvent produire des coquilles
Préparer les données
- Construire des exemples (jetons passés, jeton suivant)
Concevoir l'architecture
- Couche d'intégration, nombre de couches, etc.
Entraîner et expérimenter

Neural Machine Translation : exemple

# Modèle préentraîné
model.translate("Vamos jogar futebol?")

'Let's go play soccer?'

Comment créer des modèles NMT :

Obtenir un échantillon de phrases traduites
- Par exemple, le projet Anki
Préparer les données
- Tokeniser les phrases de la langue d'entrée
- Tokeniser les phrases de la langue de sortie
Concevoir l'architecture
- Encodeur et décodeur
Entraîner et expérimenter

Dans ce chapitre :

Génération de texte
- Utiliser un modèle préentraîné pour générer une phrase
- Préparer les données et bâtir le modèle
Neural Machine Translation (NMT)
- Modèle NMT tout-en-un

Réseaux de neurones récurrents (RNN) pour la modélisation du langage avec Keras