데이터 우려 사항 및 고려 사항

대형 언어 모델(LLM)의 개념

Vidhi Chugh

AI strategist and ethicist

데이터 고려사항

데이터 고려 사항

  • 데이터 규모 및 컴퓨팅 파워
  • 데이터 품질
  • 라벨링
  • 편향성
  • 데이터 프라이버시
대형 언어 모델(LLM)의 개념

데이터 규모 및 컴퓨팅 파워

  • LLM은 방대한 데이터가 필요
    • 아이가 말을 배우는 것과 유사
    • 570GB, 약 책 130만 권 분량

어린이가 말하기를 배우는 모습

1 Freepik
대형 언어 모델(LLM)의 개념

데이터 규모 및 컴퓨팅 파워

  • LLM은 방대한 데이터가 필요
    • 아이가 말을 배우는 것과 유사
    • 570GB, 약 책 130만 권 분량
  • 막대한 컴퓨팅 파워; 에너지 소비를 고려
  • 비용이 수백만 달러에 이를 수 있음!

Man working on a computer plugged into large server

대형 언어 모델(LLM)의 개념

데이터 품질

  • 고품질 데이터 필수적
  • 정확한 데이터 = 더 나은 학습 = 향상된 응답 품질 = 신뢰도 증가
  • 아이의 언어 학습
    • 횡설수설 입력 -> 횡설수설 출력

low-quality outputs if we train LLMs with data full of mistakes or poor grammar

대형 언어 모델(LLM)의 개념

라벨이 지정된 데이터

  • 올바른 데이터 라벨: 정확한 학습, 패턴 일반화, 정확한 응답

  • 노동 집약적: 각 기사에 올바른 라벨을 부여

Team working on computers to label data

  • 잘못된 라벨은 모델 성능에 악영향을 미침
  • 오류 해결: 식별 -> 분석 -> 반복 개선
대형 언어 모델(LLM)의 개념

데이터 편향성

  • 사회적 고정관념의 영향
  • 학습 데이터의 다양성 부족
  • 차별 및 불공정의 결과
  • 편향 데이터 탐지 및 대응
    • 데이터 불균형 평가
    • 다양성 장려
    • 편향성 완화 기법: 더 다양한 예시를 추가

Data bias

  • 예시:

    • "The nurse said that..." -> "she" 또는 "her"
대형 언어 모델(LLM)의 개념

데이터 프라이버시

  • 데이터 보호 및 개인정보 보호 규정 준수
  • 개인정보 보호는 중요한 문제임
    • 허가 없이 데이터로 학습하는 것은 침해가 될 수 있음
    • 법적, 재무적, 평판에 피해
  • 민감정보 또는 개인 식별 정보(PII)
  • 반드시 허가를 받을 것

Data privacy

대형 언어 모델(LLM)의 개념

연습해봅시다!

대형 언어 모델(LLM)의 개념

Preparing Video For Download...