심문 단계: 데이터 품질

데이터 분석가를 위한 AI

Andy Cotgreave

Author and Speaker, Former Technical Evangelist at Tableau

흔한 문제 유형

데이터 품질 문제 1

데이터 분석가를 위한 AI

AI가 해결하는 더 어려운 문제

데이터 품질 문제 2

데이터 분석가를 위한 AI

퍼지 중복

 

  • 전통적 방식: 규칙 수동 작성, 영구 유지 관리
  • AI: 매칭 로직 작성 및 의미론적 이해 제공

 

  • 출력 → 검토 및 조정 가능한 쿼리 또는 그룹화

퍼지 중복

데이터 분석가를 위한 AI

시간 순서 위반

시간 순서

  • 전통적 방식: 타임스탬프를 비교하는 SQL 작성
  • AI: 발생해서는 안 되는 상황을 기술 → AI가 쿼리 작성
데이터 분석가를 위한 AI

논리적 불일치

논리적 불일치

 

  • 전통적 방식: 참조 테이블 — 누군가가 유지 관리해야 함
  • AI: 세계 지식 활용, 참조 데이터 불필요
데이터 분석가를 위한 AI

AI 결과물 검증

 

  • AI는 마법이 아님 — 쿼리, 코드, 규칙을 생성하는 것
  • 그 결과물은 잘못될 수 있음: 잘못된 정규식, 환각된 비즈니스 규칙

AI 심문

데이터 분석가를 위한 AI

문제 수정

깨끗한 데이터 1

깨끗한 데이터 2

데이터 분석가를 위한 AI

연습해 봅시다!

데이터 분석가를 위한 AI

Preparing Video For Download...