Testes de correlação

Fundamentos de Inferência em Python

Paul Savala

Assistant Professor of Mathematics

Correlação

Relação estatística entre duas variáveis

Duas linhas senoidais com correlação aproximada.

Fundamentos de Inferência em Python

Preços de aluguel em Chicago

Gráfico de linha com data no eixo x, aluguel normalizado no eixo y, caindo de 2011 a 2012 e subindo de 2012 a 2017.

1 https://www.zillow.com/research/data/
Fundamentos de Inferência em Python

Aluguel em Chicago versus EUA

Gráfico de linha com data no eixo x, aluguel normalizado no eixo y e duas linhas para Chicago e a média dos EUA. Ambas se movem em conjunto.

Fundamentos de Inferência em Python

R de Pearson no SciPy

r, p_value = stats.pearsonr(chicago_rents, usa_rents)


print(r)

0.939

print(p_value < 0.05)

TRUE

Conclusão: Os preços de aluguel entre EUA e Chicago são correlacionados

Fundamentos de Inferência em Python

Variância explicada

$R^2:$ Percentual da variação explicada

print(r**2)

0.883
  • 88,3% da variação do aluguel em Chicago é explicada pelo aluguel nos EUA

Dispersão com aluguéis médios dos EUA no eixo x, aluguéis de Chicago no eixo y e tendência linear positiva.

Fundamentos de Inferência em Python

Inferência a partir da correlação

  • Fatores únicos de Chicago?
    • Perspectivas de emprego?
    • Clima?
    • Impostos?
    • Outra coisa?
  • Objetivo: Explicar a variação restante não explicada pelos aluguéis dos EUA
Fundamentos de Inferência em Python

Limitações da correlação

  • Dados correlacionados não são independentes
  • Viola premissas de alguns testes de hipótese
  • Dados podem ser correlacionados consigo mesmos

Gráfico de linha com data no eixo x, aluguel normalizado no eixo y, caindo de 2011 a 2012 e subindo de 2012 a 2017.

Fundamentos de Inferência em Python

Autocorrelação

  • Autocorrelação: correlação com medições passadas
  • Aluguéis tendem a correlacionar com preços de um ano antes

Dispersão com aluguéis de Chicago no eixo x, aluguel de um ano antes no eixo y e tendência linear positiva.

Fundamentos de Inferência em Python

Vamos praticar!

Fundamentos de Inferência em Python

Preparing Video For Download...