Modèles séquence à séquence

Réseaux de neurones récurrents (RNN) pour la modélisation du langage avec Keras

David Cecchini

Instructor

Séquence à séquence

Architectures possibles :

Plusieurs entrées pour une sortie
- Analyse de sentiment
- Classification
Plusieurs entrées vers plusieurs sorties
- Génération de texte
- Neural Machine Translation (NMT)

# Modèle pré-entraîné
model.generate_sheldon_phrase()

'knock knock. penny. do you have an epost is part in your expert, 
too bealie to play the tariment with last night.'

Comment créer des modèles de génération de texte :

Choisir des jetons en caractères ou en mots
- Les mots exigent d'énormes jeux de données (centaines de millions de phrases)
- Les caractères s'entraînent plus vite, mais génèrent des fautes
Préparer les données
- Créer des exemples (jetons passés, jeton suivant)
Concevoir l'architecture
- Couche d'embedding, nombre de couches, etc.
Entraîner et expérimenter

Neural Machine Translation : exemple

# Modèle pré-entraîné
model.translate("Vamos jogar futebol?")

'Let's go play soccer?'

Comment créer des modèles NMT :

Rassembler un échantillon de phrases traduites
- Par exemple, le projet Anki
Préparer les données
- Tokeniser les phrases de la langue source
- Tokeniser les phrases de la langue cible
Concevoir l'architecture
- Encodeur et décodeur
Entraîner et expérimenter

Dans ce chapitre :

Génération de texte
- Utiliser un modèle pré-entraîné pour générer une phrase
- Préparer les données et construire le modèle
Neural Machine Translation (NMT)
- Modèle NMT tout-en-un

Réseaux de neurones récurrents (RNN) pour la modélisation du langage avec Keras