Shrnutí a závěrečný souboj

Machine Translation with Keras

Thushan Ganegedara

Data Scientist and Author

Co jste dosud probrali

Kapitola 1
- Úvod do architektury kodér–dekodér
- Pochopení vrstvy GRU
Kapitola 2
- Implementace kodéru
- Implementace dekodéru
- Implementace predikční vrstvy dekodéru

Kapitola 3
- Předzpracování dat
- Trénování modelu strojového překladu
- Generování překladů
Kapitola 4
- Úvod do učitelského vynucování
- Trénování modelu s učitelským vynucováním
- Generování překladů
- Použití slovních vektorů pro strojový překlad

Model 1
- Kodér zpracuje anglická slova (zakódovaná one-hot) a vytvoří kontextový vektor
- Dekodér přijme kontextový vektor a vyprodukuje překlad
Model 2
- Kodér zpracuje anglická slova (zakódovaná one-hot) a vytvoří kontextový vektor
- Dekodér přijme dané slovo překladu (zakódované one-hot) a předpovídá slovo následující
Model 3
- Místo one-hot kódování používá slovní vektory
- Slovní vektory zachycují sémantické vztahy mezi slovy

Hodnocení modelů strojového překladu
- Skóre BLEU (Papineni et al., BLEU: a Method for Automatic Evaluation of Machine Translation.)
Modely slovních jednotek
- Umožňují modelu vyhnout se slovům mimo slovník (Sennrich et al., Neural Machine Translation of Rare Words with Subword Units.)
Transformerové modely (Vaswani et al., Attention Is All You Need)
- Nejmodernější výkon v mnoha úlohách NLP včetně strojového překladu
- Mají architekturu kodér–dekodér, ale nevyužívají sekvenční modely
- Nejnovější překladač Google je transformerový model

Machine Translation with Keras