Rezumat și confruntarea finală

Traducere automată cu Keras

Thushan Ganegedara

Data Scientist and Author

Ce ați realizat până acum

Capitolul 1
- Introducere în arhitectura encoder-decoder
- Înțelegerea stratului GRU
Capitolul 2
- Implementarea encoderului
- Implementarea decoderului
- Implementarea stratului de predicție al decoderului

Capitolul 3
- Preprocesarea datelor
- Antrenarea modelului de traducere automată
- Generarea traducerilor
Capitolul 4
- Introducere în teacher forcing
- Antrenarea unui model cu teacher forcing
- Generarea traducerilor
- Utilizarea word embeddings pentru traducerea automată

Modelul 1
- Encoderul primește cuvinte în engleză (codificate onehot) și produce un vector de context
- Decoderul primește vectorul de context și produce traducerea
Modelul 2
- Encoderul primește cuvinte în engleză (codificate onehot) și produce un vector de context
- Decoderul primește un cuvânt dat (codificat onehot) din traducere și prezice cuvântul următor
Modelul 3
- Folosește vectori de cuvinte în loc de codificare onehot
- Vectorii de cuvinte surprind relațiile semantice dintre cuvinte

Evaluarea modelelor de traducere automată
- Scorul BLEU (Papineni et al., BLEU: a Method for Automatic Evaluation of Machine Translation.)
Modele word piece
- Permite modelului să evite cuvintele din afara vocabularului (Sennrich et al., Neural Machine Translation of Rare Words with Subword Units.)
Modele Transformer (Vaswani et al., Attention Is All You Need)
- Performanță de vârf pe numeroase sarcini NLP, inclusiv traducerea automată
- Are o arhitectură encoder-decoder, dar nu utilizează modele secvențiale
- Cel mai recent traducător Google este un model Transformer

Traducere automată cu Keras