Introduction du cours

Réseaux de neurones récurrents (RNN) pour la modélisation du langage avec Keras

David Cecchini

Data Scientist

Des textes disponibles en ligne

Affiche des exemples de textes disponibles sur Internet : articles d'actualité, grandes entreprises du Web, etc.

Applications du Machine Learning aux textes

Quatre applications :

Analyse de sentiment
Classification multiclasse
Génération de texte
Traduction neuronale

Analyse de sentiment

Montre deux émojis : un visage souriant et un visage désapprobateur

Classification multiclasse

Représentations de classes pour des genres de films : science-fiction, romance, etc.

Génération de texte

Exemple de texte généré automatiquement dans une appli de messagerie : à la réception d'une question, l'appli suggère des réponses.

Traduction neuronale

Affiche un exemple de traduction : de la phrase portugaise « Vamos jogar futebol esse domingo? » vers l'anglais « Let's play soccer this Sunday? »

Réseaux de neurones récurrents

Déroulé d'un RNN, montrant que les poids entre les mots sont partagés. Les mots entrent en séquence jusqu'au dernier, où le modèle prédit la classe.

Modèles séquence à séquence

Plusieurs vers un : classification

Architecture RNN pour des tâches de classification. Le modèle prédit uniquement sur le dernier mot.

Modèles séquence à séquence

Plusieurs vers plusieurs : génération de texte

Architecture de génération de texte. Le modèle est scindé en texte d'entrée et texte généré. Côté entrée, la prédiction n'a lieu qu'à la fin ; côté généré, une prédiction à chaque étape, la première servant d'entrée à la suivante, et ainsi de suite.

Modèles séquence à séquence

Plusieurs vers plusieurs : traduction neuronale

Architecture de traduction neuronale. Deux parties : encodeur (langue source) et décodeur (langue cible). L'encodeur apprend un modèle de langue pour l'entrée ; le décodeur pour la sortie. L'état final de l'encodeur est transmis au décodeur, qui n'a pas d'autre entrée.

Modèles séquence à séquence

Plusieurs vers plusieurs : modèle de langue

Architecture d'un modèle de langue. Le modèle prédit à chaque étape le mot suivant. En entraînement, il ajuste les poids pour améliorer la prédiction du prochain mot d'une séquence.

Passons à la pratique !

Réseaux de neurones récurrents (RNN) pour la modélisation du langage avec Keras