데이터베이스와 품질 점검

의사결정 과학 이해하기

Howard Friedman

Adjunct Professor at Columbia University

데이터 소스 트리아지

모든 데이터가 똑같이 유용하진 않습니다

  • 어떤 데이터셋은 정제가 많이 필요하거나 유의미한 특성이 부족함
  • 노력 대비 가치가 낮을 수도 있음

 

데이터 트리아지는 우선순위를 빠르게 정합니다

  • 시간과 자원을 들이기 전 활용 가능성 평가

가용성부터 확인

  • 쉽게 접근 가능한가, 페이월 뒤에 있는가
  • 권한이나 보안 장벽이 있는가
  • 초기에 정리하면 낭비를 줄일 수 있음

triage.png

의사결정 과학 이해하기

핵심 점검사항

비용 고려

  • 라이선스 또는 접근 비용이 있는가
  • 저장소나 특수 도구 비용이 필요한가

유용성 평가

  • 분석에 필요한 내용을 포함하는가
  • 범위, 상세 수준, 완전성, 특성의 적합성 확인

업데이트 주기 확인

  • 실시간 예측엔 실시간/정기 업데이트 데이터 필요
  • 주기 불일치 시 데이터가 쓸모없어질 수 있음

지리 해상도 평가

  • 필요한 공간 수준과 정합성이 있는가
  • 우편번호 수준이 필요하면 국가 단위 데이터는 부적합
의사결정 과학 이해하기

데이터 품질 점검

데이터 품질은 중요합니다

  • 나쁜 데이터는 모델과 의사결정을 망칩니다
  • “Garbage in, garbage out”은 의사결정과학의 실제 위험

GIGO.png

결측치 주의

  • 각 열의 결측 비율
  • 수집상의 근본 문제를 시사하는 패턴

기본 범위 점검

  • 맥락에 맞지 않는 값이 있는가
  • 예: age = 450, price = -$10
  • 초기 단계에서 큰 문제를 플래그
의사결정 과학 이해하기

추가 점검

이상치 검토

  • 히스토그램이나 박스플롯으로 시각화
  • 제외 전 이해관계자와 논의

적시성 평가

  • 데이터가 충분히 최신인지 확인
  • 변화가 빠르면 자주 업데이트 필요

형식 일관성 확보

  • 날짜 형식 불일치, 철자, 열 이름 불일치 확인
  • 분석 문제를 막기 위해 정리·표준화

QA.png

의사결정 과학 이해하기

Ayo berlatih!

의사결정 과학 이해하기

Preparing Video For Download...