데이터 정리와 준비란?

Alteryx에서의 데이터 준비

Deanna Sanchez

Alteryx ACE and Owner, Nova Geographica LLC

왜 깨끗한 데이터가 중요한가?

GIGO: "Garbage In, Garbage Out"

  • 데이터 정리·준비는 다음을 보장합니다:
    • 실수 방지 및 오류 예방
    • 데이터와 형식 표준화
    • 생산성 향상
    • 인사이트 도출 속도 개선

데이터베이스에 쓰레기가 들어가고 나오는 모습

Alteryx에서의 데이터 준비

데이터 정리는 마치...

자동차 튠업 - 깨끗한 부품과 신유로 최적화하면 성능이 향상됩니다.

 

정비사가 자동차를 점검하는 이미지

Alteryx에서의 데이터 준비

더러운 데이터의 예

  • 누락 또는 불완전한 데이터

빈 셀 등 누락 데이터가 강조된 데이터 테이블

Alteryx에서의 데이터 준비

더러운 데이터의 예

  • 누락 또는 불완전한 데이터
  • 비표준화·비일관 데이터

대문자와 제목형 대소문자가 섞인 등 비일관 데이터가 강조된 테이블

Alteryx에서의 데이터 준비

더러운 데이터의 예

  • 누락 또는 불완전한 데이터
  • 비표준화·비일관 데이터
  • 데이터 입력 오류

너무 많은 자릿수 등 입력 오류가 강조된 데이터 테이블

Alteryx에서의 데이터 준비

더러운 데이터의 예

  • 누락 또는 불완전한 데이터
  • 비표준화·비일관 데이터
  • 데이터 입력 오류
  • 앞뒤 공백, 불필요한 문자·구두점

숫자 데이터에 달러 기호 등 불필요한 구두점이 있는 데이터 테이블

Alteryx에서의 데이터 준비

데이터 정리 기법

누락 데이터 처리

  • 값 채워 표시하기(예: {{1}})
    • 문자열에서 null을 빈 값으로 변환
    • 수치형에서 null을 0으로 대체
  • 데이터 스트림에서 누락값 필터링

돋보기와 빗자루로 데이터 파일을 청소하는 분석가들 이미지

Alteryx에서의 데이터 준비

데이터 정리 기법

데이터 표준화

  • 서식 일관성 확보
    • 통화에 $ 추가
    • 000123456
  • 필드명·파일명 명명 규칙 확인
    • "filename_01012004.csv"
  • 필드 값의 대소문자 수정
    • LOCATION
  • 데이터 형식 변경

적절한 폴더에 데이터를 정리하는 분석가 이미지

Alteryx에서의 데이터 준비

데이터 정리 기법

불필요 항목 제거

  • 앞/뒤 공백
  • 탭과 줄바꿈
  • 불필요한 행·열
  • 불필요한 구두점, 문자, 숫자

데이터 파일을 청소하는 작업자 이미지

Alteryx에서의 데이터 준비

색상 코드가 있는 프로파일

결과 창과 프로파일의 색상 표시는 정리 기법 사용을 안내합니다.

  • 초록 = OK

OK 색상 프로파일

Alteryx에서의 데이터 준비

색상 코드가 있는 프로파일

결과 창과 프로파일의 색상 표시는 정리 기법 사용을 안내합니다.

  • 초록 = OK
  • 흰색 = 고유값

OK 및 고유값 색상 프로파일

Alteryx에서의 데이터 준비

색상 코드가 있는 프로파일

결과 창과 프로파일의 색상 표시는 정리 기법 사용을 안내합니다.

  • 초록 = OK
  • 흰색 = 고유값
  • 노랑 = Null

OK, 고유값, Null 색상 프로파일

Alteryx에서의 데이터 준비

색상 코드가 있는 프로파일

결과 창과 프로파일의 색상 표시는 정리 기법 사용을 안내합니다.

  • 초록 = OK
  • 흰색 = 고유값
  • 노랑 = Null
  • 빨강 = 문제(예: 후행 공백)

OK, 고유값, Null, 문제 색상 프로파일

Alteryx에서의 데이터 준비

색상 코드가 있는 프로파일

결과 창과 프로파일의 색상 표시는 정리 기법 사용을 안내합니다.

  • 초록 = OK
  • 흰색 = 고유값
  • 노랑 = Null
  • 빨강 = 문제(예: 후행 공백)
  • 회색 = 비어 있음

모든 색상 프로파일

Alteryx에서의 데이터 준비

Alteryx의 데이터 타입

Boolean 데이터 타입이 표시된 테이블

  • 다양한 데이터 타입 이해가 중요
    • 사용 방법과 시점
  • 다섯 가지 주요 범주
    • Boolean - 이진 형식
Alteryx에서의 데이터 준비

Alteryx의 데이터 타입

Boolean과 Numeric이 표시된 테이블

  • 다양한 데이터 타입 이해가 중요
    • 사용 방법과 시점
  • 다섯 가지 주요 범주
    • Boolean - 이진 형식
    • Numeric - 숫자 데이터, Double 포함
Alteryx에서의 데이터 준비

Alteryx의 데이터 타입

Boolean, Numeric, String이 표시된 테이블

  • 다양한 데이터 타입 이해가 중요
    • 사용 방법과 시점
  • 다섯 가지 주요 범주
    • Boolean - 이진 형식
    • Numeric - 숫자 데이터, Double 포함
    • String - 텍스트 데이터
1 String: String부터 V_W String 타입까지 포함.
Alteryx에서의 데이터 준비

Alteryx의 데이터 타입

네 가지 데이터 타입 - Boolean, Numeric, String, DateTime이 표시된 테이블

  • 다양한 데이터 타입 이해가 중요
    • 사용 방법과 시점
  • 다섯 가지 주요 범주
    • Boolean - 이진 형식
    • Numeric - 숫자 데이터, Double 포함
    • String - 텍스트 데이터
    • DateTime - 날짜·시간 데이터
Alteryx에서의 데이터 준비

Alteryx의 데이터 타입

다섯 가지 주요 데이터 타입이 모두 표시된 테이블

  • 다양한 데이터 타입 이해가 중요
    • 사용 방법과 시점
  • 다섯 가지 주요 범주
    • Boolean - 이진 형식
    • Numeric - 숫자 데이터, Double 포함
    • String - 텍스트 데이터
    • DateTime - 날짜·시간 데이터
    • Spatial - 공간 객체·좌표
Alteryx에서의 데이터 준비

데이터셋 정보

  • Alteryx 실습:
    • 뉴욕시 부동산 매매
    • 모든 실습에 하나의 데이터셋 사용
    • 최고 매매액 분석

뉴욕시 스카이라인 이미지

Alteryx에서의 데이터 준비

연습해 봅시다!

Alteryx에서의 데이터 준비

Preparing Video For Download...