벤치마킹과 지속적 개선

Databricks Genie 입문

Gang Wang

Senior Data Scientist

벤치마킹이란

Gold Standard 질문과 답변

• 정확도를 계산합니다

벤치마킹 빈도

• Gold Standard 질문 10~20개: 단순 집계부터 복잡한 신뢰 KPI까지 포괄합니다
• 개발 중 실행: 매일 또는 주요 큐레이션 변경 후 실행합니다
• 스키마 변경 후: 새 테이블이나 열 추가 시 전체 스위트를 즉시 실행합니다
• 프로덕션에서: 상태 점검을 위해 주 1회 또는 월 1회 실행합니다

결과 해석

• 통과율은 전체 점수를 한눈에 보여줍니다
• 실제 가치는 실패 분석에 있습니다
• "도시별 총 매출"은 통과하지만 "자치구별 총 수익"은 실패한다면?
• Genie에 로직 변경이 아닌 동의어 추가가 필요하다는 의미입니다
• 예상 SQL과 생성된 SQL을 비교하여 차이를 파악하세요

수정 우선순위 설정

• 벤치마크 결과에서 실패 패턴을 파악합니다
• 결과에서 큐레이션 메뉴로 이동하여 동의어와 예제를 추가합니다
• 빈도와 비즈니스 영향도를 기준으로 우선순위를 정합니다
• 빈도와 영향도가 모두 높은 실패를 먼저 수정합니다

지속적 개선 사이클

$$

1단계: 구축 — Gold Standard 질문으로 테스트 스위트를 만드세요.

지속적 개선 사이클

$$

2단계: 실행 — 결과를 해석하세요. 무엇이, 왜 실패했나요?

지속적 개선 사이클

$$

3단계: 우선순위 설정 및 큐레이션 — 동의어, 관계, SQL 예제를 활용하여 수정합니다.

지속적 개선 사이클

$$

4단계: 검증 — 벤치마크를 다시 실행하여 개선을 확인합니다. 배포 전에 정확도가 향상되었는지 확인하세요.

조직 전체로 확장하기

• Unity Catalog으로 데이터와 권한을 중앙화합니다
• 전사 KPI에는 신뢰 자산(Trusted Assets)을 활용합니다
• 편집기(Editor) 접근 권한은 교육받은 데이터 스튜어드에게만 부여합니다
• 좋아요/싫어요 피드백을 의무화합니다
• 정기적인 벤치마크 실행으로 정확도 저하를 방지합니다

연습해 봅시다!

Databricks Genie 입문