Korrelationstester

Grunderna i inferens med Python

Paul Savala

Assistant Professor of Mathematics

Korrelation

Statistiskt samband mellan två variabler

Två sinusformade linjer som är ungefär korrelerade.

Hyresnivåer i Chicago

Ett linjediagram med datum på x-axeln, normaliserad hyra på y-axeln, och en linje som sjunker från 2011 till 2012 och sedan stiger från 2012 till 2017.

¹ https://www.zillow.com/research/data/

Hyresnivåer i Chicago jämfört med USA

Ett linjediagram med datum på x-axeln, normaliserad hyra på y-axeln, och två linjer som representerar hyresnivåer i Chicago och USA:s genomsnitt. Båda linjerna rör sig i takt.

Pearsons R i SciPy

r, p_value = stats.pearsonr(chicago_rents, usa_rents)


print(r)

0.939

print(p_value < 0.05)

TRUE

Slutsats: Hyresnivåerna i USA och Chicago är korrelerade

Förklarad varians

$R^2:$ Andel förklarad variation

print(r**2)

0.883

88,3 % av variationen i Chicagos hyresnivåer förklaras av USA:s hyresnivåer

Ett spridningsdiagram med USA:s genomsnittliga hyror på x-axeln, Chicagos hyror på y-axeln, och en positiv linjär trend mellan dem.

Slutsatser från korrelation

Faktorer unika för Chicago?
- Jobbmöjligheter?
- Klimat?
- Skatter?
- Något annat?
Mål: Förklara den återstående variationen som inte förklaras av USA:s hyresnivåer

Nackdelar med korrelation

Korrelerade data är inte oberoende
Bryter mot antaganden i vissa hypotestester
Data kan vara korrelerade med sig själva

Ett linjediagram med datum på x-axeln, normaliserad hyra på y-axeln, och en linje som sjunker från 2011 till 2012 och sedan stiger från 2012 till 2017.

Autokorrelation

Autokorrelation: Korrelation med tidigare mätvärden
Hyresnivåer tenderar att korrelera med priset ett år tidigare

Ett spridningsdiagram med Chicagos hyror på x-axeln, hyran ett år tidigare i Chicago på y-axeln, och en generellt positiv linjär trend.

Nu kör vi en övning!

Grunderna i inferens med Python