엔터프라이즈 신뢰성

사례 연구: Databricks Genie로 배우는 영업 분석

Stan Konkin

ML Content Developer, DataCamp

작동에서 신뢰로

신뢰성 방어막이 표시된 영업 전체 층의 Genie Space와 이를 검토하는 VP 인물, DataCamp 네이비 및 그린 스타일

Space가 영업 전체에 서비스 제공
VP는 전면 출시 전 신뢰성 확보 요구
새 테이블 없이 기존 설정 강화

신뢰성은 반복되는 루프

검토, 진단, 큐레이션, 검증의 4단계 사이클이 깔끔한 화살표 루프로 표현된 이미지, DataCamp 네이비 및 그린 스타일

대화 내용과 평점 검토
문제 원인 진단
적절한 수단 큐레이션
채팅에서 수정 사항 검증

Monitor에서 진단 시작하기

$$ SCREENSHOT: Genie Monitor 탭에 엄지 위/아래 평점이 포함된 대화 목록이 표시되고 엄지 아래 항목만 필터링된 화면

$$

$$

Monitor 탭에 실제 대화 기록
엄지 아래 답변만 필터링
생성된 SQL 각각 확인

두 가지 실패, 두 가지 원인

두 개의 아이콘: 하나는 값이 변동됨을 나타내는 물음표, 다른 하나는 용어 미정의를 나타내는 취소선 정의

월별 추세 변동 → 느슨한 공식
"Premium" 미정의 → Genie가 추측
실패 유형이 다르면 수정 방법도 다름

첫 번째 수정: 추세 고정

초록색 자물쇠로 월별 꺾은선 차트를 고정해 변동을 막는 이미지, DataCamp 네이비 및 그린 스타일

느슨한 공식 → SQL 예시로 고정
Genie가 동일한 계산 재사용
매번 실행 시 동일한 추세 유지

두 번째 수정: 용어 정의

비즈니스 용어의 의미를 명확히 고정하는 규칙이 지침 목록에 추가되는 이미지, DataCamp 네이비 및 그린 스타일

정의 누락 → 텍스트 지침 추가
용어를 한 번, 정확하게 정의
모든 프리미엄 관련 질문에 적용

지속적인 신뢰성 유지

$$

$$

SCREENSHOT: Genie Benchmark 탭에 고정 질문과 각각 대응하는 정답 SQL이 나열된 화면

$$

$$

질문과 정답 SQL을 쌍으로 구성
변경 후마다 재실행
경영진보다 먼저 회귀 문제 발견

프로덕션 준비 Space의 조건

중앙 대시보드에 초록색 체크 표시와 함께 벤치마크, 명확한 정의, 모니터, 고정 공식 아이콘이 배치된 이미지

고정된 공식, 명확한 정의
모니터링 및 벤치마킹 적용
이것이 Space가 신뢰를 얻는 방법

연습해 봅시다!

사례 연구: Databricks Genie로 배우는 영업 분석

Preparing Video For Download...