AI의 한계와 제약

업무를 위한 AI 입문

James Chapman

AI Curriculum Manager, DataCamp

위험 #1: 정보 조작

  • 또는 환각: AI가 잘못된 정보를 사실인 것처럼 제시하는 현상
  • 주요 사례:
    • 잘못된 통계 수치
    • 허위 인용
    • 존재하지 않는 사건 지어내기

hallucination1.jpg

업무를 위한 AI 입문

위험 #1: 정보 조작

  • 또는 환각: AI가 잘못된 정보를 사실인 것처럼 제시하는 현상
  • 주요 사례:
    • 잘못된 통계 수치
    • 허위 인용
    • 존재하지 않는 사건 지어내기

hallucination2.jpg

업무를 위한 AI 입문

위험 #1: 정보 조작

hallucination3.jpg

업무를 위한 AI 입문

위험 #2: 최신 정보 누락

  • 지식 마감일 → 모델이 파악하고 있는 정보 및 사건의 기한
  • 예시:

    • 예시:{{2}} * 만료된 규정, 가격, 위치, 그리고 코딩 문법{}
  • 시간에 민감한 정보는 최신 출처에서 확인 필요

  • 다수의 AI 도구가 인터넷 검색 기증을 지원함

recency.png

업무를 위한 AI 입문

위험 #3: 편향된 출력

biased.png

  • 학습 데이터에 포함된 사회적 편견을 반영하고 증폭시킴
  • 결과 → 고정관념이 담기거나 차별적인 콘텐츠 생성
  • AI가 생성한 콘텐츠는 항상 주의 깊게 검토하세요!
업무를 위한 AI 입문

위험 #4: 편향 동조 출력

  • 편향적 동조 → 사용자가 듣고 싶어 할 만한 대답만 하는 경향

    • 사용자의 관점을 정당화하고, 결정을 지지하며, 생각을 확증함
  • 비판적 관점이 필요할 때 문제 발생

sycophancy.png

업무를 위한 AI 입문

위험 #4: 편향 동조 출력

  • 편향적 동조 → 사용자가 듣고 싶어 할 만한 대답만 하는 경향

    • 사용자의 관점을 정당화하고, 결정을 지지하며, 생각을 확증함
  • 비판적 관점이 필요할 때 문제 발생

  • LLM이 인간의 응답 평가 데이터를 바탕으로 학습하는 방식에서 비롯된 부작용

sycophany_research.png

1 https://arxiv.org/abs/2510.01395
업무를 위한 AI 입문

위험 #5: 개인 정보 및 데이터 유출

privacy.png

  • AI 도구에 공유된 정보는 비공개로 유지되지 않을 수 있음!
  • 스프레드시트, 문서 또는 고객 데이터 업로드 시 위험 발생 가능
  • 데이터가 외부 서버에 저장되거나, 모델 학습에 사용되거나, 검색될 가능성 존재
업무를 위한 AI 입문

위험 #5: 개인 정보 및 데이터 유출

crying.png

위험

  • 개인정보 보호법(예: GDPR) 위반
  • 경쟁 우위 상실
  • 고객 신뢰 훼손
  • 항상 AI 도구의 데이터 처리 방침을 확인할 것
  • 의문이 생길 경우: IT 또는 정보 보안 전문가에게 문의할 것
업무를 위한 AI 입문

위험에서 책임으로

risks_summary_v2.png

car.png

업무를 위한 AI 입문

연습해 봅시다!

업무를 위한 AI 입문

Preparing Video For Download...