생성형 AI의 발전

생성형 AI 개념

Daniel Tedesco

Data Lead, Google

2023년, 생성형 AI의 급부상

다양한 소프트웨어 제품이 월간 사용자 1억 명에 도달하는 데 걸린 개월 수를 보여주는 차트. 단 2개월 만에 1위를 차지한 챗GPT

1 Yahoo Finance
생성형 AI 개념

개발을 이끄는 핵심 요인

생성형 AI의 발전을 이끄는 요인:

  • 연산 능력
  • 데이터세트 가용성
  • 경쟁 구도
  • 모델 설계
생성형 AI 개념

연산 능력의 발전으로 대규모 모델 등장

1950년의 10^4 미만 부동소수점 연산에서 2022년의 10^24 부동소수점 연산까지, AI 모델 학습에 필요한 연산 능력이 기하급수적으로 증가한 것을 보여주는 차트

  • 병렬화 및 특수 하드웨어
    • 그래픽 처리 장치(GPU)
    • 텐서 처리 장치(TPU)
  • 클라우드 컴퓨팅
  • 하드웨어·소프트웨어 최적화
1 머신 러닝의 3대 전환기에 걸친 컴퓨팅 추세, https://arxiv.org/abs/2202.05924
생성형 AI 개념

대규모 데이터세트로 모델 성능 향상

글로벌 데이터스피어의 확장 2015년 20제타바이트에서 2025년 180제타바이트로 증가하는 전 세계 데이터스피어의 가속 성장 추세를 보여주는 차트

1 IDC의 Global DataSphere, 2021
생성형 AI 개념

경쟁 압력으로 개발 가속화

상업적 요인 주요 기술 기업 로고

정치적 요인 다양한 국가들의 국기

생성형 AI 개념

GAN으로 고품질 생성 본격화

강아지들이 웅크리고 있어 베이글과 비슷해 보이는 헷갈리는 사진들을 판별 모델 알고리즘이 분류하도록 만드는 생성 모델 알고리즘의 이미지

생성형 AI 개념

트랜스포머로 맥락과 일관성 확보

'그것'은 '동물'을 의미합니다.

문장 "그 동물은 길을 건너지 않았다. 왜냐하면 그것은 너무 피곤했기 때문이다.". 단어 '그것'과 '동물'이 강조 표시되어 있습니다.

'그것'은 '거리'를 의미합니다.

문장 "그 동물은 길을 건너지 않았다. 왜냐하면 그것은 너무 넓었기 때문이다.". 단어 '그것'과 '거리'가 강조 표시되어 있습니다.

1 https://ai.googleblog.com/2017/08/transformer-novel-neural-network.html
생성형 AI 개념

트랜스포머로 맥락과 일관성 확보

트랜스포머:

  • 주어진 텍스트의 맥락 파악
  • 단어 간의 관계 파악
  • 자연스럽고 유익한 응답 생성
생성형 AI 개념

사용자 피드백을 반영한 RLHF

  • 인간 피드백 기반 강화 학습(RLHF):
  • 시행착오를 통해 모델을 학습시키는 강화 학습
  • 사용자가 모델의 응답을 점수화해서 얻는 사용자 피드백

생성형 AI의 처리 과정에 피드백에 대한 응답이 모델로 이어지는 추가 과정이 있습니다.

생성형 AI 개념

사용자 피드백을 반영한 RLHF

미드저니 사용자 인터페이스에서 이미지 결과물에 대한 평가 옵션이 표시된 스크린샷

1 미드저니
생성형 AI 개념

연습해 봅시다!

생성형 AI 개념

Preparing Video For Download...