Podsumowanie i finałowe starcie

Tłumaczenie maszynowe z Keras

Thushan Ganegedara

Data Scientist and Author

Dotychczasowe postępy

Rozdział 1
- Wprowadzenie do architektury enkoder-dekoder
- Warstwa GRU
Rozdział 2
- Implementacja enkodera
- Implementacja dekodera
- Implementacja warstwy predykcji dekodera

Rozdział 3
- Przetwarzanie danych
- Trenowanie modelu tłumaczenia maszynowego
- Generowanie tłumaczeń
Rozdział 4
- Wprowadzenie do teacher forcing
- Trenowanie modelu z teacher forcing
- Generowanie tłumaczeń
- Osadzenia słów w tłumaczeniu maszynowym

Model 1
- Enkoder przyjmuje słowa angielskie (kodowanie one-hot) i zwraca wektor kontekstu
- Dekoder przyjmuje wektor kontekstu i generuje tłumaczenie
Model 2
- Enkoder przyjmuje słowa angielskie (kodowanie one-hot) i zwraca wektor kontekstu
- Dekoder przyjmuje dane słowo tłumaczenia (kodowanie one-hot) i przewiduje następne słowo
Model 3
- Zamiast kodowania one-hot używa wektorów słów
- Wektory słów uchwycają semantyczne relacje między słowami

Ewaluacja modeli tłumaczenia maszynowego
- Wynik BLEU (Papineni et al., BLEU: a Method for Automatic Evaluation of Machine Translation.)
Modele word piece
- Pozwalają uniknąć słów spoza słownika (Sennrich et al., Neural Machine Translation of Rare Words with Subword Units.)
Modele Transformer (Vaswani et al., Attention Is All You Need)
- Najwyższa wydajność w wielu zadaniach NLP, w tym w tłumaczeniu maszynowym
- Architektura enkoder-dekoder bez modeli sekwencyjnych
- Najnowszy translator Google oparty jest na modelu Transformer

Tłumaczenie maszynowe z Keras