Conclusion et défi final

Traduction automatique avec Keras

Thushan Ganegedara

Data Scientist and Author

Ce que vous avez fait jusqu'ici

Chapitre 1
- Introduction à l'architecture encodeur-décodeur
- Comprendre la couche GRU
Chapitre 2
- Implémenter l'encodeur
- Implémenter le décodeur
- Implémenter la couche de prédiction du décodeur

Chapitre 3
- Prétraiter les données
- Entraîner le modèle de traduction automatique
- Générer des traductions
Chapitre 4
- Introduction au teacher forcing
- Entraîner un modèle avec teacher forcing
- Générer des traductions
- Utiliser des plongements de mots pour la traduction automatique

Modèle 1
- L'encodeur lit des mots anglais (encodés onehot) et produit un vecteur de contexte
- Le décodeur lit ce vecteur et produit la traduction
Modèle 2
- L'encodeur lit des mots anglais (encodés onehot) et produit un vecteur de contexte
- Le décodeur lit un mot donné (encodé onehot) de la traduction et prédit le mot suivant
Modèle 3
- Utilise des vecteurs de mots au lieu de l'encodage onehot
- Les vecteurs de mots captent les relations sémantiques entre mots

Évaluer les modèles de traduction automatique
- Score BLEU (Papineni et al., BLEU: a Method for Automatic Evaluation of Machine Translation.)
Modèles de sous-mots
- Permettent d'éviter les mots hors vocabulaire (Sennrich et al., Neural Machine Translation of Rare Words with Subword Units.)
Modèles Transformer (Vaswani et al., Attention Is All You Need)
- Performance de pointe en TALN, dont la traduction automatique
- Architecture encodeur-décodeur, sans modèles séquentiels
- Le plus récent traducteur de Google est un modèle Transformer

Traduction automatique avec Keras