Récapitulatif et dernier défi

Traduction automatique avec Keras

Thushan Ganegedara

Data Scientist and Author

Ce que vous avez fait jusqu'ici

Chapitre 1
- Introduction à l'architecture encodeur-décodeur
- Comprendre la couche GRU
Chapitre 2
- Implémenter l'encodeur
- Implémenter le décodeur
- Implémenter la couche de prédiction du décodeur

Chapitre 3
- Prétraiter les données
- Entraîner le modèle de traduction automatique
- Générer des traductions
Chapitre 4
- Introduction au teacher forcing
- Entraîner un modèle avec teacher forcing
- Générer des traductions
- Utiliser des word embeddings pour la traduction automatique

Modèle 1
- L'encodeur consomme des mots anglais (onehot encodés) et produit un vecteur de contexte
- Le décodeur consomme ce vecteur de contexte et produit la traduction
Modèle 2
- L'encodeur consomme des mots anglais (onehot encodés) et produit un vecteur de contexte
- Le décodeur consomme un mot donné (onehot encodé) de la traduction et prédit le mot suivant
Modèle 3
- Au lieu du onehot encoding, utilise des vecteurs de mots
- Les vecteurs de mots capturent les relations sémantiques entre mots

Évaluer les modèles de traduction automatique
- Score BLEU (Papineni et al., BLEU: a Method for Automatic Evaluation of Machine Translation.)
Word piece models
- Permettent d'éviter les mots hors vocabulaire (Sennrich et al., Neural Machine Translation of Rare Words with Subword Units.)
Transformer models (Vaswani et al., Attention Is All You Need)
- Performance de pointe sur de nombreuses tâches NLP, dont la traduction automatique
- Architecture encodeur‑décodeur, sans modèles séquentiels
- Le traducteur Google le plus récent est un modèle Transformer

Traduction automatique avec Keras