학습 기법

대형 언어 모델(LLM)의 개념

Vidhi Chugh

AI strategist and ethicist

지금 우리는 어디쯤?

Progress chart showing we have reached the fine-tuning stage

대형 언어 모델(LLM)의 개념

데이터 제약 극복하기

  • 파인튜닝: 사전 학습된 모델을 특정 작업에 맞게 학습시키는 것
  • 하지만 라벨이 지정된 데이터가 거의 혹은 전혀 없다면 어떨까?
  • N-샷 학습: 제로샷, 퓨샷, 멀티샷
대형 언어 모델(LLM)의 개념

전이 학습

  • 하나의 작업에서 학습하고 관련 작업으로 전이하기
  • 피아노에서 기타로 지식 이전하기
    • 악보 읽기
    • 리듬 이해하기
    • 음악적 개념 파악하기
  • N-샷 학습
    • 제로샷 - 작업별 데이터 없음
    • 퓨샷 - 적은 작업별 데이터
    • 멀티샷 - 상대적으로 더 많은 학습 데이터

Illustration of a piano and a guitar

대형 언어 모델(LLM)의 개념

제로샷 학습

  • 명시적인 학습 없음
  • 언어에 대한 이해력과 맥락을 사용함
  • 사전 예시 없이 일반화합니다

An image showing how training over horse and stripes separately helps the model identify zebra.

1 Freepik
대형 언어 모델(LLM)의 개념

퓨샷 학습

  • 적은 예시만으로 새로운 작업을 학습

An image showing a classroom

  • 원샷 러닝: 한 번의 예시에서 파인튜닝하기
  • 새로운 질문에 답하기 위한 사전 지식 필요

An image showing a child writing an exam

대형 언어 모델(LLM)의 개념

멀티샷 러닝

  • 퓨샷보다 더 많은 예시가 필요함
  • 이전 작업과 새로운 작업의 예시 활용
  • 예를 들어, 골든 리트리버 {{3}}에 대해 학습된 모델은

Images of three Golden Retreivers

1 Freepik
대형 언어 모델(LLM)의 개념

멀티샷 러닝

  • 모델 출력: 래브라도 리트리버
  • 데이터 수집 및 라벨링에 소요되는 시간을 절약
  • 정확성에 있어 타협 없음

An image of a labrador

1 Freepik
대형 언어 모델(LLM)의 개념

지금까지의 구성 요소

  • 데이터 준비 워크플로
  • 파인튜닝
  • N-샷 학습 기법
  • 다음 단계: 사전 학습
대형 언어 모델(LLM)의 개념

연습해봅시다!

대형 언어 모델(LLM)의 개념

Preparing Video For Download...