상관관계 검정

Python에서 배우는 추론 통계 기초

Paul Savala

Assistant Professor of Mathematics

상관관계

두 변수 간 통계적 관계

대략 상관된 두 개의 사인 곡선.

Python에서 배우는 추론 통계 기초

시카고 임대료 추이

x축은 날짜, y축은 정규화된 임대료이며 2011~2012 하락 후 2012~2017 상승하는 선 그래프.

1 https://www.zillow.com/research/data/
Python에서 배우는 추론 통계 기초

시카고 vs 미국 임대료

x축은 날짜, y축은 정규화된 임대료이며 시카고와 미국 평균 두 선이 함께 움직임.

Python에서 배우는 추론 통계 기초

SciPy의 피어슨 R

r, p_value = stats.pearsonr(chicago_rents, usa_rents)

print(r)
0.939
print(p_value < 0.05)
TRUE

결론: 미국과 시카고 임대료는 상관되어 있음

Python에서 배우는 추론 통계 기초

설명분산

$R^2:$ 설명된 변동 비율

print(r**2)
0.883
  • 시카고 임대료 변동의 88.3%가 미국 평균 임대료로 설명됨

x축은 미국 평균 임대료, y축은 시카고 임대료이며 양의 선형 추세를 보이는 산점도.

Python에서 배우는 추론 통계 기초

상관관계로부터의 추론

  • 시카고 고유 요인?
    • 일자리 전망?
    • 날씨?
    • 세금?
    • 기타?
  • 목표: 미국 임대료로 설명되지 않는 나머지 변동을 설명
Python에서 배우는 추론 통계 기초

상관관계의 한계

  • 상관된 데이터는 독립이 아님
  • 일부 가설검정의 가정을 위반
  • 데이터가 자기 자신과 상관될 수 있음

x축은 날짜, y축은 정규화된 임대료이며 2011~2012 하락 후 2012~2017 상승하는 선 그래프.

Python에서 배우는 추론 통계 기초

자기상관

  • 자기상관(autocorrelation): 과거 측정값과의 상관
  • 임대료는 1년 전 가격과 상관되는 경향

x축은 시카고 임대료, y축은 1년 전 시카고 임대료이며 대체로 양의 선형 추세를 보이는 산점도.

Python에서 배우는 추론 통계 기초

연습해 봅시다!

Python에서 배우는 추론 통계 기초

Preparing Video For Download...