Introduction au cours

Réseaux de neurones récurrents (RNN) pour la modélisation du langage avec Keras

David Cecchini

Data Scientist

Des données textuelles en ligne

Affiche des exemples de données textuelles sur Internet : articles de presse, grandes entreprises du Web, etc.

Applications du Machine Learning aux textes

Quatre applications :

Analyse des sentiments
Classification multiclasse
Génération de texte
Neural machine translation

Analyse des sentiments

Montre deux émojis : un visage souriant et un visage désapprobateur

Classification multiclasse

Représentations de classes pour des genres de films : science-fiction, romance, etc.

Génération de texte

Exemple de texte généré automatiquement dans une appli de clavardage : à la réception d'un message, l'appli suggère des réponses.

Neural machine translation

Exemple de traduction d'une phrase portugaise « Vamos jogar futebol esse domingo? » vers l'anglais « Let's play soccer this Sunday? »

Réseaux de neurones récurrents

Affiche la représentation déroulée d'un RNN, en soulignant le partage des poids entre les mots. Les mots entrent en séquence jusqu'au dernier, où la classe est prédite.

Modèles séquence à séquence

Plusieurs vers un : classification

Architecture RNN pour la classification : prédiction seulement sur le dernier mot.

Modèles séquence à séquence

Plusieurs vers plusieurs : génération de texte

Architecture de génération de texte : entrée puis texte généré. Prédiction au dernier pas côté entrée, puis à chaque pas côté génération, en réutilisant la sortie précédente.

Modèles séquence à séquence

Plusieurs vers plusieurs : neural machine translation

Architecture de traduction automatique neuronale : un encodeur pour la langue d'entrée et un décodeur pour la langue de sortie. L'état final de l'encodeur est transmis au décodeur, sans autre entrée.

Modèles séquence à séquence

Plusieurs vers plusieurs : modèle de langue

Architecture d'un modèle de langue : prédire le mot suivant à chaque pas. En entraînement, les poids s'ajustent pour améliorer cette prédiction.

Passons à la pratique !

Réseaux de neurones récurrents (RNN) pour la modélisation du langage avec Keras