트랜스포머 소개

대형 언어 모델(LLM)의 개념

Vidhi Chugh

AI strategist and ethicist

지금 우리는 어디쯤?

Progress chart showing we are at transformer learning

대형 언어 모델(LLM)의 개념

트랜스포머란?

  • "Attention Is All You Need"
    • 언어 모델링 방식에 혁신을 가져옴
  • 트랜스포머 아키텍처
    • 단어 간의 관계 파악
    • 구성 요소: 전처리, 위치 인코딩, 인코더, 디코더

Snippet of the paper "Attention is all you need"

1 arXiv: Attention Is All You Need
대형 언어 모델(LLM)의 개념

트랜스포머 내부

  • 입력: Jane, who lives in New York and works as a software

Internal components and data flow inside a transformer

  • 출력: engineer, loves exploring new restaurants in the city.
대형 언어 모델(LLM)의 개념

트랜스포머와 오케스트라

Image of an orchestra

대형 언어 모델(LLM)의 개념

텍스트 전처리와 표현

  • 텍스트 전처리: 토큰화, 불용어 제거, 표제어 추출
  • 텍스트 표현: 단어 임베딩

Highlight of the first component of a transformer and some individual notes

대형 언어 모델(LLM)의 개념

위치 인코딩

  • 각 단어의 위치 정보
  • 멀리 떨어진 단어 이해

Highlight of the second component of a transformer and a piece of music

대형 언어 모델(LLM)의 개념

인코더

  • 어텐션 매커니즘: 특정 단어와의 관계에 집중
  • 신경망: 특정 특징을 처리

Encoder in the transformer flow

대형 언어 모델(LLM)의 개념

디코더

  • 어텐션과 신경망 포함
  • 출력 {{1}}을 생성

Decoder component of a transformer

대형 언어 모델(LLM)의 개념

트랜스포머와 장거리 의존성

  • 초기 과제: 장거리 의존성
  • 어텐션: 입력의 다양한 부분에 집중

  • 예시: "Jane, who lives in New York and works as a software engineer, loves exploring new restaurants in the city."

  • "Jane" --- "loves exploring new restaurants"

대형 언어 모델(LLM)의 개념

여러 부분을 동시에 처리

  • 기존 언어 모델의 한계:
    • 순차적 - 한 번에 한 단어씩
  • 트랜스포머:
    • 여러 부분을 동시에 처리
    • 더 빠른 처리
  • 예시:
    • "The cat sat on the mat"
    • "cat", "sat", "on", "the", "mat"를 동시에 처리
대형 언어 모델(LLM)의 개념

연습해봅시다!

대형 언어 모델(LLM)의 개념

Preparing Video For Download...