분포와 이상치

Power BI로 하는 탐색적 데이터 분석

Jacob H. Marquez

Data Scientist at Microsoft

분포란?

정의: 변수의 가능한 모든 값과 해당 빈도의 집합.

분포란?

연속형

Age	Frequency
18	7
19	11
20	13
21	19
22	12

분포란?

연속형

Age	Frequency
18	7
19	11
20	13
21	19
22	12

범주형

Hair Color	Frequency
Blonde	30
Brown	50
Black	40
Red	20
Grey	20

히스토그램이란?

사람 키의 히스토그램으로, x축은 키 값, y축은 해당 키의 관측 수를 나타냅니다. 중앙에 큰 덩어리가 있고 양쪽에 좁은 꼬리가 있습니다.

히스토그램이란? - 빈

빈 100개의 히스토그램

사람 키의 히스토그램으로, x축은 키 값, y축은 해당 키의 관측 수를 나타냅니다. 빈이 100개라 더 매끄럽고 세부가 잘 보입니다.

빈 20개의 히스토그램

사람 키의 히스토그램으로, x축은 키 값, y축은 해당 키의 관측 수를 나타냅니다. 빈이 적어 더 각지고 상자처럼 보입니다.

히스토그램 읽기 - 중심과 왜도

사람 키의 히스토그램으로, x축은 키 값, y축은 해당 키의 관측 수를 나타냅니다. 중앙에 관측이 많고 양 끝으로 갈수록 적습니다.

정규분포

사람 키의 히스토그램으로, x축은 키 값, y축은 해당 키의 관측 수를 나타냅니다. 왼쪽에 관측이 많고 오른쪽으로 갈수록 좁아집니다.

우측으로 치우친 분포

히스토그램 읽기 - 분산도

표준편차 큼

사람 키의 히스토그램으로, x축은 키 값, y축은 해당 키의 관측 수를 나타냅니다. 중앙에 관측이 많고 양 끝으로 갈수록 적습니다.

표준편차 작음

사람 키의 히스토그램으로, x축은 키 값, y축은 해당 키의 관측 수를 나타냅니다. 표준편차가 작아 더 좁고 첨탑처럼 보입니다.

히스토그램 읽기 - 백분위수

사람 키의 히스토그램으로, x축은 키 값, y축은 해당 키의 관측 수를 나타냅니다. 중앙에서 왼쪽까지의 녹색 음영이 50번째 백분위를 나타냅니다.

히스토그램 읽기 - 25·75번째 백분위수

사람 키의 히스토그램으로, x축은 키 값, y축은 해당 키의 관측 수를 나타냅니다. 25번째와 75번째 백분위수 바깥쪽이 녹색 음영으로 표시됩니다.

히스토그램 읽기 - 사분위 범위(IQR)

사람 키의 히스토그램으로, x축은 키 값, y축은 해당 키의 관측 수를 나타냅니다. 25번째부터 75번째 백분위수 구간(IQR)이 녹색 음영으로 표시됩니다.

이상치란?

사람 키의 히스토그램으로, x축은 키 값, y축은 해당 키의 관측 수를 나타냅니다. 양 끝의 녹색 음영이 잠재적 이상치를 강조합니다.

이상치 찾기

표준편차 사용

$lower = -3 * SD$

$upper = 3 * SD$

이상치 조건

$value < lower$ OR $value > upper$

사분위 범위(IQR)

$lower = 25percentile-(1.5 * IQR)$

$upper = 75percentile+(1.5 * IQR)$

이상치 조건

$value < lower$ OR $value > upper$

이상치 처리

관측치 제거
대치(imputation)

윈저라이징

IF value < 5th percentile THEN value = 5th percentile

IF value > 95th percentile THEN value = 95th percentile

연습해 봅시다!

Power BI로 하는 탐색적 데이터 분석