Sammanfattning och den stora finalen

Maskinöversättning med Keras

Thushan Ganegedara

Data Scientist and Author

Vad du har gjort hittills

• Kapitel 1
  • Introduktion till encoder-decoder-arkitektur
  • Förstå GRU-lagret
• Kapitel 2
  • Implementera encodern
  • Implementera decodern
  • Implementera decoderns prediktionslager

Vad du har gjort hittills

• Kapitel 3
  • Förbearbetning av data
  • Träning av maskinöversättningsmodellen
  • Generera översättningar
• Kapitel 4
  • Introduktion till teacher forcing
  • Träna en modell med teacher forcing
  • Generera översättningar
  • Använda ordinbäddningar för maskinöversättning

Maskinöversättningsmodeller

• Modell 1
  • Encodern tar in engelska ord (one-hot-kodade) och ger ut en kontextvektor
  • Decodern tar in kontextvektorn och ger ut översättningen
• Modell 2
  • Encodern tar in engelska ord (one-hot-kodade) och ger ut en kontextvektor
  • Decodern tar in ett givet ord (one-hot-kodat) ur översättningen och förutsäger nästa ord
• Modell 3
  • Använder ordvektorer i stället för one-hot-kodning
  • Ordvektorer fångar den semantiska relationen mellan ord

Prestanda för olika modeller

Senaste utvecklingen och vidare läsning

• Utvärdering av maskinöversättningsmodeller
  • BLEU-poäng (Papineni et al., BLEU: a Method for Automatic Evaluation of Machine Translation.)
• Orddelade modeller
  • Gör att modellen kan hantera ord utanför vokabulären (Sennrich et al., Neural Machine Translation of Rare Words with Subword Units.)
• Transformermodeller (Vaswani et al., Attention Is All You Need)
  • Topprestanda på många NLP-uppgifter, inklusive maskinöversättning
  • Har en encoder-decoder-arkitektur men använder inte sekventiella modeller
  • Googles senaste maskinöversättare är en transformermodell

Lycka till!

Maskinöversättning med Keras