어텐션 메커니즘

대형 언어 모델(LLM)의 개념

Vidhi Chugh

AI strategist and ethicist

어텐션 메커니즘

  • 복잡한 구조 이해하기
  • 중요한 단어에 집중
  • 책 읽기에 비유:
    • 추리 소설의 단서들
    • 관련 내용에 집중하기
    • 중요한 입력 데이터에 집중

An open book with a magnifying glass

대형 언어 모델(LLM)의 개념

셀프 어텐션과 멀티헤드 어텐션

셀프 어텐션

  • 각 단어의 중요도에 가중치를 매김
  • 장거리 의존성을 포착함

멀티헤드 어텐션

  • 셀프 어텐션의 다음 단계
  • 입력을 여러 개의 헤드로 분할하여, 각 헤드가 서로 다른 측면에 집중하도록 함
대형 언어 모델(LLM)의 개념

파티에서의 어텐션

  • 어텐션: 셀프, 멀티헤드
  • 예시:
    • 파티에서의 그룹 대화
    • 관련 화자에 대한 선택적 주의
    • 노이즈 필터링
    • 핵심 사항에 집중

사람들이 앉아 그룹 대화를 나누고 있는 모습

1 Freepik
대형 언어 모델(LLM)의 개념

파티는 계속된다

셀프 어텐션

  • 각 사람의 발화를 개별적으로 파악
  • 관련성을 평가 및 비교
  • 각 발화에 가중치를 부여
  • 포괄적인 이해를 위해 종합

멀티헤드 어텐션

  • 주의를 "다수의" 채널로 분산
  • 대화의 다양한 측면에 집중
  • 발표자의 감정, 주요 주제, 관련된 하위 주제 등
  • 각 측면을 처리한 후 병합
대형 언어 모델(LLM)의 개념

멀티헤드 어텐션의 장점

  • "The boy went to the store to buy some groceries, and he found a discount on his favorite cereal."
  • 어텐션: "boy", "store", "groceries", "discount"
  • 셀프 어텐션: "boy"와 "he" -> 동일 인물
  • 멀티헤드 어텐션: 다중 채널
    • 등장인물 ("boy")
    • 행동 ("went to the store", "found a discount")
    • 관련된 사물 ("groceries", "cereal")
대형 언어 모델(LLM)의 개념

연습해봅시다!

대형 언어 모델(LLM)의 개념

Preparing Video For Download...