모델 평가

생성형 AI 개념

Daniel Tedesco

Data Lead, Google

왜 굳이 평가할까요?

모델의 성능과 효과 평가:

• 진행 상황 측정
• 엄격한 모델 비교
• 인간 성과가 기준점

생성형 AI 평가하기

정량적 지표

• 판별 모델 평가 지표
• 생성 모델별 지표

인간 중심 지표

• 인간 성과 비교
• 지능형 평가

판별 모델 평가 기법

잘 정의된 작업에서 성과 측정

장점:

• 폭넓은 수용 및 이해 가능
• 간편한 계산 및 비교

단점:

• 생성된 콘텐츠의 주관적 특성을 포착할 수 없음

- 생성 모델별 지표

특정 생성 작업에 맞춰 설정

단점:

• 현실성, 다양성, 참신성 같은 세부 기준
• 널리 알려진 여러 지표

단점:

• 다수의 주관적 요소 포착 불가
• 종종 일반화할 수 없음

인간 성과 비교

장점:

• 인간 능력을 기준점으로 삼음
• 실용적 사용 가능성 입증

단점:

• 불공정한 비교

대회에서 수상하는 AI들

인간 대회

인간 표준화 검사

¹ https://twitter.com/colostatefair/status/1565486317839863809, OpenAI

가장 확실한 기준

인간 또는 다른 AI에 의한 지능형 평가

장점:

• 주관적 측면 포착

단점:

• 느리고, 비용이 많이 들며, 표준화하기 어려움
• 인간의 편향과 불규칙성의 영향을 받음

튜링의 고전적 테스트

• 컴퓨터 과학자 앨런 튜링이 제안
• 인간 평가자가 AI 생성 콘텐츠 평가
• 평가자가 AI와 인간을 구분하지 못하면 통과
• 하지만 인간의 행동이 항상 올바른 기준인 것은 아님

연습해 봅시다!

생성형 AI 개념