탐색적 데이터 분석이란?

Power BI로 하는 탐색적 데이터 분석

Jacob H. Marquez

Data Scientist at Microsoft

탐색적 데이터 분석이란?

"주요 특성을 요약하기 위해 데이터 세트를 분석하는 접근법으로, 통계 그래픽 및 기타 데이터 시각화 방법을 주로 활용합니다."

1 https://en.wikipedia.org/wiki/Exploratory_data_analysis
Power BI로 하는 탐색적 데이터 분석

EDA의 6단계

  1. 데이터 구조 이해

  2. 결측 데이터 식별

  3. 기술 통계 및 분포를 통한 데이터 설명

  4. 이상값 식별

  5. 변수 간 관계 파악 및 정량화

  6. 가설 수립

Power BI로 하는 탐색적 데이터 분석

EDA의 6단계

  1. 데이터 구조 이해

  2. 결측 데이터 식별

  3. 기술 통계 및 분포를 통한 데이터 설명

  4. 이상값 식별

  5. 변수 간 관계 파악 및 정량화

  6. 가설 수립

Power BI로 하는 탐색적 데이터 분석

1. 데이터 구조 이해

연속형

무한한 값을 가질 수 있는 수치형 변수

  • 우주의 별 수
  • 클릭률
  • 두 도시 간 거리

범주형

두 개 이상의 그룹을 가진 비수치형(주로 텍스트) 변수

  • 주택 유형
  • 국가
  • 회사
Power BI로 하는 탐색적 데이터 분석

2. 결측 데이터 식별

 

완전 무작위 결측

세 도시(시애틀, 뉴욕, 파리)별로 세 행씩 묶인 9행 4열 행렬. 30개의 강수량(인치) 값 중 6개가 세 도시에 걸쳐 무작위로 비어 있습니다.

 

비무작위 결측

세 도시(시애틀, 뉴욕, 파리)별로 세 행씩 묶인 9행 4열 행렬. 30개의 강수량(인치) 값 중 4개가 시애틀에서만 무작위로 비어 있습니다.

Power BI로 하는 탐색적 데이터 분석

2. 결측 데이터 처리

 

세 도시(시애틀, 뉴욕, 파리)별로 세 행씩 묶인 9행 4열 행렬. 30개의 강수량(인치) 값 중 4개가 시애틀에서만 무작위로 비어 있습니다.

결측 셀을 제거해 첫 번째 행이 삭제된 동일한 9행 4열 행렬.

결측 셀에 중앙값이 대체되어 첫 번째 행에 값이 채워진 동일한 9행 4열 행렬.

Power BI로 하는 탐색적 데이터 분석

3. 데이터 설명

  • 최솟값
  • 최댓값
  • 평균: 모든 값의 합을 관측값 수로 나눈 값
  • 중앙값: 값의 범위에서 가운데 위치한 값
  • 표준편차: 모든 데이터 포인트에서 관측된 평균과의 평균 차이
Power BI로 하는 탐색적 데이터 분석

3. 분포를 통한 데이터 설명

x축에 키 값, y축에 관측 빈도를 나타낸 사람 키의 히스토그램.

  • 중앙값과 평균이 동일
  • 좌우 대칭 곡선
Power BI로 하는 탐색적 데이터 분석

3. 분포를 통한 데이터 설명

x축에 소득 값, y축에 관측 빈도를 나타낸 가구 소득 히스토그램. 왼쪽이 넓고 오른쪽으로 갈수록 좁아집니다.

  • 중앙값 < 평균
  • "오른쪽 꼬리": 꼬리가 오른쪽에 위치

x축에 온라인 사용 시간, y축에 관측 빈도를 나타낸 히스토그램. 왼쪽이 좁고 오른쪽으로 갈수록 넓어집니다.

  • 중앙값 > 평균
  • "왼쪽 꼬리": 꼬리가 왼쪽에 위치
Power BI로 하는 탐색적 데이터 분석

데이터셋: 에어비앤비 숙소 목록

listing_id, host_id, host_since(날짜 열), city, price의 다섯 열로 구성된 에어비앤비 데이터셋.

Power BI로 하는 탐색적 데이터 분석

연습해 봅시다!

Power BI로 하는 탐색적 데이터 분석

Preparing Video For Download...