언어 모델링의 과제

대형 언어 모델(LLM)의 개념

Vidhi Chugh

AI strategist and ethicist

순서가 중요한 이유!

  • 나만 건강한 생활 방식을 따른다.
  • 다른 위치 = 다른 의미
  • 나만 건강한 생활 방식을 따른다.

Illustration of a person with two arrows in opposite directions and a question mark above their head.

1 Freepik
대형 언어 모델(LLM)의 개념

문맥 모델링

An image showing the word 'Run' can have multiple meanings depending on the context.

대형 언어 모델(LLM)의 개념

문맥 모델링

An image showing the word 'Run' to mean jogging.

대형 언어 모델(LLM)의 개념

문맥 모델링

An image showing the word 'Run' to mean managing or organizing.

대형 언어 모델(LLM)의 개념

문맥 모델링

An image showing the word 'Run' to mean operating a machine

대형 언어 모델(LLM)의 개념

문맥 모델링

Adding more context to the previous image by supporting different contextual meanings with the help of examples.

대형 언어 모델(LLM)의 개념

장거리 의존성

  • 문장 내 멀리 떨어진 단어들을 인식하고 연결
  • 기존 언어 모델에게 어려운 과제

An example of long range dependency: "The book that the young girl, who had just returned from her vacation, carefully placed on the shelf was quite heavy."

대형 언어 모델(LLM)의 개념

단일 작업 학습

An image showing three examples of single-task learning such as image captioning, text summarization, and language translation.

  • 시간과 자원이 많이 듦
  • 최신 LLM에 비해 융통성이 떨어짐
대형 언어 모델(LLM)의 개념

다중 작업 학습

An image showing multi-task learning combining multiple capabilities into one model.

  • 각 개별 작업에서 성능이 향상됨
  • 정확도와 효율성에 영향을 미칠 수 있음
  • 데이터가 공유되기 때문에 더 적은 양의 학습 데이터 필요
대형 언어 모델(LLM)의 개념

요약해보기

언어 모델링의 과제

  • 단어 순서 관리
  • 문맥 이해하기
  • 장거리 의존성

단일 작업 학습

  • 작업 특화
  • 융통성 부족
  • 기존 모델과 초기 LLM

다중 작업 학습

  • 다재다능함
  • 여러 가지 작업
  • 최신 LLM
대형 언어 모델(LLM)의 개념

연습해봅시다!

대형 언어 모델(LLM)의 개념

Preparing Video For Download...