Genel özet ve final karşılaşması

Keras ile Machine Translation

Thushan Ganegedara

Data Scientist and Author

Şimdiye kadar yaptıklarınız

• Bölüm 1
  • Kodlayıcı-çözücü mimarisine giriş
  • GRU katmanını anlama
• Bölüm 2
  • Kodlayıcının uygulanması
  • Çözücünün uygulanması
  • Çözücü tahmin katmanının uygulanması

Şimdiye kadar yaptıklarınız

• Bölüm 3
  • Veriyi ön işleme
  • Makine çevirisi modelini eğitme
  • Çeviri üretme
• Bölüm 4
  • Teacher forcing’e giriş
  • Teacher forcing ile model eğitme
  • Çeviri üretme
  • Makine çevirisi için kelime gömme kullanımı

Makine çevirisi modelleri

• Model 1
  • Kodlayıcı İngilizce kelimeleri (onehot kodlu) alır ve bir bağlam vektörü üretir
  • Çözücü bağlam vektörünü alır ve çeviriyi verir
• Model 2
  • Kodlayıcı İngilizce kelimeleri (onehot kodlu) alır ve bir bağlam vektörü üretir
  • Çözücü çevirinin verilen bir kelimesini (onehot kodlu) alır ve sonraki kelimeyi tahmin eder
• Model 3
  • Onehot yerine kelime vektörleri kullanır
  • Kelime vektörleri sözcükler arası anlamsal ilişkileri yakalar

Farklı modellerin performansı

Güncel gelişmeler ve ileri okuma

• Makine çevirisi modellerinin değerlendirilmesi
  • BLEU skoru (Papineni vd., BLEU: a Method for Automatic Evaluation of Machine Translation.)
• Word piece modelleri
  • Modelin kelime dağarcığı dışı kelimelerden kaçınmasını sağlar (Sennrich vd., Neural Machine Translation of Rare Words with Subword Units.)
• Transformer modelleri (Vaswani vd., Attention Is All You Need)
  • Makine çevirisi dâhil birçok NLP görevinde son teknoloji performans
  • Kodlayıcı-çözücü mimarisine sahiptir, ancak ardışık modeller kullanmaz
  • Google’ın en güncel çeviri sistemi bir Transformer modelidir

Başarılar!

Keras ile Machine Translation