시퀀스-투-시퀀스 모델

Keras로 배우는 언어 모델링을 위한 순환 신경망(RNN)

David Cecchini

Instructor

시퀀스-투-시퀀스

가능한 구조:

  • 다중 입력, 단일 출력
    • 감성 분석
    • 분류
  • 다중 입력, 다중 출력
    • 텍스트 생성
    • 신경망 기계번역(NMT)
Keras로 배우는 언어 모델링을 위한 순환 신경망(RNN)

텍스트 생성: 예시

텍스트 생성: 예시

# Pre-trained model
model.generate_sheldon_phrase()

'knock knock. penny. do you have an epost is part in your expert, 
too bealie to play the tariment with last night.'
Keras로 배우는 언어 모델링을 위한 순환 신경망(RNN)

텍스트 생성: 모델링

텍스트 생성 모델 구축 방법:

  • 토큰 단위를 문자 또는 단어로 결정
    • 단어 기반은 매우 큰 데이터셋 필요(수억 문장)
    • 문자 기반은 학습이 빠르나 오타 발생 가능
  • 데이터 준비
    • (이전 토큰, 다음 토큰) 예제로 학습 샘플 생성
  • 모델 설계
    • 임베딩, 층 수 등
  • 학습 및 실험
Keras로 배우는 언어 모델링을 위한 순환 신경망(RNN)

NMT: 예시

신경망 기계번역: 예시

# Pre-trained model
model.translate("Vamos jogar futebol?")

'Let's go play soccer?'
Keras로 배우는 언어 모델링을 위한 순환 신경망(RNN)

NMT: 모델링

NMT 모델 구축 방법:

  • 번역 문장 샘플 수집
    • 예: Anki 프로젝트
  • 데이터 준비
    • 입력 언어 문장 토크나이즈
    • 출력 언어 문장 토크나이즈
  • 모델 설계
    • 인코더와 디코더
  • 학습 및 실험
Keras로 배우는 언어 모델링을 위한 순환 신경망(RNN)

학습 개요

이 장에서:

  • 텍스트 생성
    • 사전 학습 모델로 문장 생성
    • 데이터 준비와 모델 구축 학습
  • 신경망 기계번역(NMT)
    • 올인원 NMT 모델
Keras로 배우는 언어 모델링을 위한 순환 신경망(RNN)

연습해 봅시다!

Keras로 배우는 언어 모델링을 위한 순환 신경망(RNN)

Preparing Video For Download...