Test di correlazione

Fondamenti dell'inferenza in Python

Paul Savala

Assistant Professor of Mathematics

Correlazione

Relazione statistica tra due variabili

Due linee sinusoidali con correlazione approssimativa.

Fondamenti dell'inferenza in Python

Prezzi degli affitti a Chicago

Un grafico a linee con data sull’asse x, affitto normalizzato sull’asse y; la linea scende dal 2011 al 2012 e sale dal 2012 al 2017.

1 https://www.zillow.com/research/data/
Fondamenti dell'inferenza in Python

Affitti: Chicago vs USA

Un grafico a linee con data sull’asse x, affitto normalizzato sull’asse y e due linee per Chicago e media USA. Le linee si muovono all’unisono.

Fondamenti dell'inferenza in Python

R di Pearson in SciPy

r, p_value = stats.pearsonr(chicago_rents, usa_rents)


print(r)

0.939

print(p_value < 0.05)

TRUE

Conclusione: gli affitti tra USA e Chicago sono correlati

Fondamenti dell'inferenza in Python

Varianza spiegata

$R^2:$ Percentuale di varianza spiegata

print(r**2)

0.883
  • L’88,3% della varianza degli affitti di Chicago è spiegata dagli affitti USA

Un grafico a dispersione con affitti medi USA sull’asse x, affitti di Chicago sull’asse y e una tendenza lineare positiva.

Fondamenti dell'inferenza in Python

Inferenza dalla correlazione

  • Fattori specifici di Chicago?
    • Opportunità di lavoro?
    • Clima?
    • Tasse?
    • Altro?
  • Obiettivo: spiegare la varianza residua non spiegata dagli affitti USA
Fondamenti dell'inferenza in Python

Limiti della correlazione

  • Dati correlati non sono indipendenti
  • Viola le assunzioni di alcuni test d’ipotesi
  • I dati possono essere correlati con se stessi

Un grafico a linee con data sull’asse x, affitto normalizzato sull’asse y; la linea scende dal 2011 al 2012 e sale dal 2012 al 2017.

Fondamenti dell'inferenza in Python

Autocorrelazione

  • Autocorrelazione: correlazione con misure passate
  • I prezzi degli affitti tendono a correlare con quelli di un anno prima

Un grafico a dispersione con affitti di Chicago sull’asse x, affitti di un anno prima a Chicago sull’asse y e una tendenza lineare positiva.

Fondamenti dell'inferenza in Python

Ayo berlatih!

Fondamenti dell'inferenza in Python

Preparing Video For Download...