출시 후 AI 시스템 운영

HR를 위한 AI

Chris Klaus

Senior AI Architect, Chalice AI

주의할 점

$$

패턴을 관찰하세요:

동일한 질문이 반복됨
직원이 답변을 이중 확인함
응답에 작은 불일치가 있음

$$

간단한 로그 유지:

질문, 응답, 이상했던 점

$$

이 신호는 시스템이 드리프트할 때를 알려줍니다

정기 점검

$$

체크리스트 애니메이션

월 30분 정기 점검

정책 정합성 - 변경 사항이 있었나요? 최신 질문으로 테스트합니다.
언어 드리프트 - 최신 사내 핸드북과 일치하나요?
엣지 케이스 - 반복 취약 지점을 로그로 확인합니다.
스코프 크리프 - 설계 범위를 넘는 요청을 처리하나요?
지침 정확성 - 규칙이 현재 운영을 반영하나요?

정책 변경 시, 지침부터 업데이트하세요

$$

새 정책이 발표되면 직원 질문이 나오기 전에 AI 시스템을 먼저 업데이트하세요.

$$

단계	조치
1	AI 지침을 즉시 업데이트 - 컨텍스트 소스와 응답 가이드를 수정
2	현실적인 질문으로 테스트 - 실제 직원 문의로 검증
3	엣지 케이스에 집중 - 실패·오류 가능 시나리오 식별
4	부정확할 경우 → 범위를 좁히거나 사람에게 라우팅

팀워크

$$

분기별 점검 프로세스

시스템을 검토해 줄 동료 한 명을 찾으세요

현실적인 시나리오 5가지를 제공하세요
혼란, 의외의 결과, 사람이 더 나을 순간을 표시해 달라고 요청하세요

$$

체크 아이콘

문제가 발생했을 때

$$

즉시 대응:

구성을 즉시 수정합니다
발생 내용과 변경 사항을 문서화합니다
영향받은 직원에게 명확히 알립니다

$$

메시지 예시:

"[system]이 [topic]에 대해 오래된 안내를 제공한 것을 확인했습니다. 현재 정책은 다음과 같습니다..."

투명성 아이콘

지원 네트워크 구축

$$

팀 아이콘

$$

필요한 지속 연결 3가지:

역할	필요한 이유
HR 담당자	직원 혼란을 조기에 파악
기술 담당자	구성을 신속히 조정
컴플라이언스 담당자	규제 변경을 표시

모니터링

4가지 신호

$$

$$

$$

$$

4주 런치 프레임워크:

1주차: 예상 상위 20개 질문 테스트
2주차: 10~15명과 파일럿 진행
3주차: 피드백 반영해 업데이트
4주차: 월간 검토 설정

연습해 봅시다!

HR를 위한 AI

Preparing Video For Download...