조사 단계: 데이터 품질

데이터 분석가를 위한 AI

Andy Cotgreave

Author and Speaker, Former Technical Evangelist at Tableau

흔히 발생하는 문제 유형

data_quality_issues1.jpg

데이터 분석가를 위한 AI

AI가 해결하는 더 어려운 문제들

data_quality_issues2.jpg

데이터 분석가를 위한 AI

퍼지 중복(Fuzzy Duplicates)

 

  • 전통 방식: 규칙을 직접 작성하고 영원히{{2}} 유지 관리
  • AI: 매칭 로직을 작성하고 의미적 이해{{3}}를 제공

 

  • 결과물 → 직접 읽고 조정할 수 있는 쿼리 또는 그룹

fuzzy_duplicates.png

데이터 분석가를 위한 AI

시간 순서 위반

time_order.jpg

  • 전통 방식: 타임스탬프를 비교하는 SQL 작성
  • AI: 발생하면 안 되는 상황을 설명하면 → AI가 쿼리를 작성
데이터 분석가를 위한 AI

논리적 불일치

logical_inconsistencies.jpg

 

  • 전통 방식: 참조 테이블 사용 — 누군가 유지 관리{{3}}해야 함
  • AI: 세계 지식을 활용하며 참조 데이터가 필요 없습니다
데이터 분석가를 위한 AI

AI의 결과물 검증하기

 

  • AI는 마법이 아닙니다 — 쿼리, 코드, 규칙을 생성할 뿐입니다
  • 그 결과는 틀릴 수 있습니다: 잘못된 정규식, 환각으로 만들어진 비즈니스 규칙

ai_interrogation.jpg

데이터 분석가를 위한 AI

문제 해결하기

clean_data1.jpg

clean_data2.jpg

데이터 분석가를 위한 AI

연습해 봅시다!

데이터 분석가를 위한 AI

Preparing Video For Download...