파인튜닝

대형 언어 모델(LLM)의 개념

Vidhi Chugh

AI strategist and ethicist

지금 우리는 어디쯤?

Progress chart showing we have reached the fine-tuning stage

대형 언어 모델(LLM)의 개념
  • 사전 학습

An image representing School children as pretraining analogy

          학교에서의 교육
  • 파인튜닝

An image representing University students as fine-tuning analogy

        대학교 전공 선택
1 Freepik
대형 언어 모델(LLM)의 개념

"대규모성" 과제

  • 파인튜닝이 도움이 될 수 있음
  • 강력한 컴퓨터
  • 효율적인 모델 학습 방법
  • 대량의 학습 데이터

An image showing availability of data, training time, and compute power as the challenges of building LLMs

대형 언어 모델(LLM)의 개념

컴퓨팅 파워

  • 메모리

  • 처리 성능

  • 인프라

  • 고비용

  • LLM:
    • 수십만 개의 중앙 처리 장치(CPU)
    • 수만 개의 그래픽 처리 장치 (GPUs)
  • 개인용 컴퓨터: 4-8개의 CPU 및 1-2개의 GPU

Man working on a computer plugged into large server

1 Freepik
대형 언어 모델(LLM)의 개념

효율적인 모델 학습

Illustration symbolizing a deep learning model

  • 긴 학습 시간이 소요됨
  • 몇 주 또는 몇 달이 걸릴 수 있음
  • 효율적인 모델 학습 = 더 빠른 학습 시간
  • 단일 GPU에서는 355년의 처리 시간이 걸림
대형 언어 모델(LLM)의 개념

데이터 가용성

  • 고품질 데이터의 필요성
  • 언어의 복잡성과 미묘함을 배우기 위함

  • 수백 기가바이트(GB)의 텍스트 데이터

    • 백만 권이 넘는 책과 동일한 양

  • 방대한 양의 데이터

두 개의 넘쳐나는 폴더 더미로 대용량 데이터를 상징

대형 언어 모델(LLM)의 개념

문제점 극복하기

  • 파인튜닝
    • 이 어려움 중 일부를 해결함
  • 사전 학습된 모델
    • 범용 데이터 세트에서 학습함
    • 특정 작업에 최적화되어 있지 않음
    • 특정 문제에 대해 파인튜닝할 수 있음

People working on an oversized laptop with tools and gears to symbolize fine tuning

대형 언어 모델(LLM)의 개념

파인튜닝 vs. 사전 학습

  • 파인튜닝

  • 컴퓨터 성능

    • 1-2개의 CPU 및 GPU
  • 학습 시간
    • 수 시간에서 수 일
  • 데이터 용량
    • ~1 기가바이트

  • 사전 학습

  • 컴퓨터 성능

    • 수천 개의 CPU 및 GPU
  • 학습 시간
    • 수 주에서 수 개월
  • 데이터 용량
    • 수백 기가바이트
대형 언어 모델(LLM)의 개념

연습해봅시다!

대형 언어 모델(LLM)의 개념

Preparing Video For Download...