LLM의 혁신성

대형 언어 모델(LLM)의 개념

Vidhi Chugh

AI strategist and ethicist

텍스트 데이터 사용

An image showing sentiment analysis, spam detection, and digital assistants

  • 비정형 데이터 - 복잡하고 일관성이 없음
1 Freepik
대형 언어 모델(LLM)의 개념

기계는 언어를 이해하지 못합니다!

An image showing a computer's inability to interpret language as is

1 Freepik
대형 언어 모델(LLM)의 개념

NLP의 필요성

텍스트와 숫자 사이의 다리 역할을 하는 NLP를 보여주는 이미지로, 컴퓨터가 이를 이해합니다

1 Freepik
대형 언어 모델(LLM)의 개념

LLM의 고유한 기능

  • 언어의 미묘한 특성
    • 반어법
    • 유머
    • 말장난
    • 비꼬기
    • 억양
    • 의도

A person standing with a clipboard point at some generic text and a big question mark

1 Freepik
대형 언어 모델(LLM)의 개념

당신이 가장 좋아하는 책은 무엇인가요?

  • 자연스러운 반응: "아, 좀 어려운 질문이네요!"
  • 개인적인 의견: "제가 인생에서 가장 좋아하는 책은 하퍼 리의 앵무새 죽이기입니다."
  • 내용 보충: "이 책은 편견, 정의, 그리고 인간 경험에 대해 강하게 이야기하는 내용이에요."
  • 후속 질문: "혹시 읽어보셨나요?"
대형 언어 모델(LLM)의 개념

언어의 미묘한 특성

비꼬기: "또 회의라니, 아주 좋네요."

기존 언어 모델:

  • 응답: "어떤 회의인가요?"
    • 중립
    • 비아냥거림을 인식하지 못함

대형 언어 모델:

  • 응답: "정말 회의를 기대하고 계신 것 같네요!"
    • 재치있는
    • 매력적인
    • 빈정거림과 잘 맞아 떨어짐
대형 언어 모델(LLM)의 개념

LLM이 이해하는 방식

  • 방대한 양의 데이터로 학습됨

  • LLM의 거대한 규모: 매개변수

  • 매개변수는 패턴과 규칙을 나타냅니다

  • 더 많은 매개변수 -> 복잡한 패턴

  • 정교하고 정확한 응답을 생성함

대형 언어 모델(LLM)의 개념

매개변수

  • 적은 수의 벽돌 -> 제한된 구조물

An image showing small number of blocks

  • 더 많은 수의 벽돌 -> 복잡하고 정교한 구조물

An image showing large number of bricks

대형 언어 모델(LLM)의 개념

새로운 기능의 출현

  • 창발적 능력
    • 대규모 모델에만 존재함

  • 규모:

    • 학습 데이터의 양
    • 모델의 매개변수 개수

모델 규모가 전환 임계값을 넘어서면 모델 성능이 갑자기 향상되는 그래프

대형 언어 모델(LLM)의 개념

새로운 기능의 출현

음악, 시, 코드 생성, 의료 진단 및 치료 그룹과 같은 새로운 기능을 보여주는 이미지

대형 언어 모델(LLM)의 개념

LLM의 구성 요소

Building blocks of LLMs

대형 언어 모델(LLM)의 개념

요약해보기

LLM:

  • 비정형 데이터의 한계를 극복
  • 기존 모델을 능가함
  • 언어적 미묘한 특성을 이해함

어떻게?

LLM의 "거대한 규모"

  • 방대한 학습 데이터
  • 많은 매개변수
  • 창발적 능력
대형 언어 모델(LLM)의 개념

연습해봅시다!

대형 언어 모델(LLM)의 개념

Preparing Video For Download...