Riepilogo e sfida finale

Traduzione automatica con Keras

Thushan Ganegedara

Data Scientist and Author

Cosa hai fatto finora

• Capitolo 1
  • Introduzione all’architettura encoder–decoder
  • Capire il livello GRU
• Capitolo 2
  • Implementare l’encoder
  • Implementare il decoder
  • Implementare il livello di predizione del decoder

Cosa hai fatto finora

• Capitolo 3
  • Preprocessare i dati
  • Addestrare il modello di traduzione automatica
  • Generare traduzioni
• Capitolo 4
  • Introduzione al teacher forcing
  • Addestrare un modello con teacher forcing
  • Generare traduzioni
  • Usare word embedding per la traduzione automatica

Modelli di traduzione automatica

• Modello 1
  • L’encoder legge parole inglesi (one-hot) e produce un vettore contesto
  • Il decoder usa il vettore contesto e genera la traduzione
• Modello 2
  • L’encoder legge parole inglesi (one-hot) e produce un vettore contesto
  • Il decoder consuma una parola data (one-hot) della traduzione e predice la successiva
• Modello 3
  • Usa vettori di parole invece del one-hot
  • I vettori catturano relazioni semantiche tra parole

Prestazioni dei modelli

Sviluppi recenti e letture consigliate

• Valutare i modelli di traduzione
  • Punteggio BLEU (Papineni et al., BLEU: a Method for Automatic Evaluation of Machine Translation.)
• Modelli a sotto-parole
  • Evitano parole fuori vocabolario (Sennrich et al., Neural Machine Translation of Rare Words with Subword Units.)
• Transformer (Vaswani et al., Attention Is All You Need)
  • Stato dell’arte in molti task NLP, inclusa la traduzione
  • Architettura encoder–decoder, senza modelli sequenziali
  • Il traduttore Google più recente è un Transformer

Buona fortuna!

Traduzione automatica con Keras