NLP의 일반적 개요

대형 언어 모델(LLM)의 개념

Vidhi Chugh

AI strategist and ethicist

지금 우리는 어디쯤?

Progress chart showing the first step i.e text pre-processing

대형 언어 모델(LLM)의 개념

텍스트 전처리

  • 서로 독립적이기 때문에 순서를 다르게 수행할 수 있음

Three most common steps for text pre-processing

대형 언어 모델(LLM)의 개념

토큰화

  • 텍스트를 개별 단어 또는 토큰으로 분할하는 과정
  • 텍스트
    • ["자연어", "처리", "기술로", "작업하는", "것은", "까다롭다", "."]
  • 토큰화:
    • ["자연어", "처리", "기술로", "작업하는", "것은", "까다롭다", "."]
    • 리스트로 변환
대형 언어 모델(LLM)의 개념

불용어 제거

  • 불용어는 의미를 추가하지 않음
  • 불용어 제거를 통해 제거됨
  • 불용어 제거 후:
    • ["Working", "natural", "language", "processing", "techniques", "challenging", "."]
  • 불용어 제거 후:
    • ["Working", "natural", "language", "processing", "techniques", "challenging", "."]
대형 언어 모델(LLM)의 개념

표제어 추출

  • 비슷한 의미를 가진 단어들을 그룹화함
  • 단어를 기본 형태로 축소
  • 단어의 원형에 매핑됨

  • Talking -> Talk

  • Talked -> Talk

  • Talk -> Talk

대형 언어 모델(LLM)의 개념

텍스트 표현

Progress chart showing we have reached the text representation stage

대형 언어 모델(LLM)의 개념

텍스트 표현

  • 텍스트 데이터를 숫자 형태로 변환
  • 단어 주머니 기법
  • 단어 임베딩

Image depicting speech as numbers

대형 언어 모델(LLM)의 개념

단어 주머니 기법

  • 텍스트를 단어 개수 행렬로 변환

A matrix with a bag of words representation

  • 0은 단어의 부재를 나타냄
대형 언어 모델(LLM)의 개념

단어 주머니 기법의 한계

  • 단어의 순서나 맥락을 포착하지 않음

    • 잘못된 해석을 초래할 수 있음
    • 유사해 보이지만 정반대의 의미를 가진 문장
      • "The cat chased the mouse swiftly."
      • "The mouse chased the cat."

  • 단어들 사이의 의미적 관계를 포착하지 못함

    • 관련 단어를 독립적으로 취급함
    • "cat"과 "mouse"처럼
대형 언어 모델(LLM)의 개념

단어 임베딩

  • 단어의 의미를 숫자로 표현하기
Cat Mouse
Plant -0.9 -0.8
Furry 0.9 0.7
Carnivore 0.9 -0.8
  • Cat [-0.9, 0.9, 0.9]
  • 포식자-피식자 관계:

포식자-피식자 단어 임베딩

대형 언어 모델(LLM)의 개념

기계가 읽을 수 있는 형태

  • 텍스트 전처리부터 시작

Data preparation workflow

대형 언어 모델(LLM)의 개념

기계가 읽을 수 있는 형태

  • 전처리된 텍스트를 숫자 형식으로 변환

Data preparation workflow with text representation steps

대형 언어 모델(LLM)의 개념

연습해봅시다!

대형 언어 모델(LLM)의 개념

Preparing Video For Download...