마무리와 최종 정리

Keras로 배우는 Machine Translation

Thushan Ganegedara

Data Scientist and Author

지금까지 수행한 내용

• 1장
  • 인코더-디코더 아키텍처 소개
  • GRU 레이어 이해
• 2장
  • 인코더 구현
  • 디코더 구현
  • 디코더 예측 레이어 구현

지금까지 수행한 내용

• 3장
  • 데이터 전처리
  • 기계번역 모델 학습
  • 번역 생성
• 4장
  • 티처 포싱 소개
  • 티처 포싱으로 모델 학습
  • 번역 생성
  • 단어 임베딩을 활용한 기계번역

기계번역 모델

• 모델 1
  • 인코더가 영어 단어(원-핫 인코딩)를 받아 컨텍스트 벡터를 출력
  • 디코더가 컨텍스트 벡터를 받아 번역을 출력
• 모델 2
  • 인코더가 영어 단어(원-핫 인코딩)를 받아 컨텍스트 벡터를 출력
  • 디코더가 번역의 주어진 단어(원-핫 인코딩)를 받아 다음 단어를 예측
• 모델 3
  • 원-핫 대신 워드 벡터 사용
  • 워드 벡터는 단어 간 의미적 관계를 포착

모델별 성능 비교

최신 동향과 추가 자료

• 기계번역 모델 평가
  • BLEU 점수 (Papineni et al., BLEU: a Method for Automatic Evaluation of Machine Translation.)
• 서브워드/워드피스 모델
  • OOV(어휘 밖) 회피 가능 (Sennrich et al., Neural Machine Translation of Rare Words with Subword Units.)
• 트랜스포머 모델 (Vaswani et al., Attention Is All You Need)
  • 다수 NLP 과제에서 최고 성능, 기계번역 포함
  • 인코더-디코더 구조이나 순차 모델은 사용하지 않음
  • 최신 Google 번역기는 트랜스포머 기반

행운을 빕니다!

Keras로 배우는 Machine Translation