相関検定

Pythonで学ぶ推測の基礎

Paul Savala

Assistant Professor of Mathematics

相関

2変数間の統計的な関係

大まかに相関する2本の正弦波状の線。

Pythonで学ぶ推測の基礎

シカゴの家賃動向

x軸が日付、y軸が正規化家賃の折れ線。2011→2012で下がり、2012→2017で上昇。

1 https://www.zillow.com/research/data/
Pythonで学ぶ推測の基礎

シカゴ vs 米国の家賃

x軸が日付、y軸が正規化家賃。シカゴと米国平均の2本の線が同調して動く。

Pythonで学ぶ推測の基礎

SciPyでのピアソンのR

r, p_value = stats.pearsonr(chicago_rents, usa_rents)


print(r)

0.939

print(p_value < 0.05)

TRUE

結論: 米国とシカゴの家賃には相関がある

Pythonで学ぶ推測の基礎

説明分散

$R^2:$ 説明された変動の割合

print(r**2)

0.883
  • シカゴの家賃の変動の88.3%は米国の家賃で説明

x軸が米国平均家賃、y軸がシカゴ家賃の散布図。正の線形トレンドが見られる。

Pythonで学ぶ推測の基礎

相関からの推論

  • シカゴ特有の要因は？
    • 雇用機会？
    • 天候？
    • 税金？
    • その他？
  • 目的: 米国家賃で説明できない残りの変動を説明
Pythonで学ぶ推測の基礎

相関の欠点

  • 相関のあるデータは独立ではない
  • 一部の仮説検定の仮定に違反
  • データは自己相関することがある

x軸が日付、y軸が正規化家賃の折れ線。2011→2012で下がり、2012→2017で上昇。

Pythonで学ぶ推測の基礎

自己相関

  • 自己相関: 過去の測定値との相関
  • 家賃は前年の価格と相関しがち

x軸がシカゴ家賃、y軸が1年前のシカゴ家賃の散布図。概ね正の線形トレンド。

Pythonで学ぶ推測の基礎

練習してみましょう！

Pythonで学ぶ推測の基礎

Preparing Video For Download...