Тести кореляції

Основи інференції в Python

Paul Savala

Assistant Professor of Mathematics

Кореляція

Статистичний зв'язок між двома змінними

Дві синусоїдальні лінії, що приблизно корелюють.

Основи інференції в Python

Ціни оренди в Чикаго

Лінійний графік: дата по осі x, нормалізована оренда по осі y; лінія спадає з 2011 до 2012, потім зростає до 2017.

1 https://www.zillow.com/research/data/
Основи інференції в Python

Оренда в Чикаго проти США

Лінійний графік: дата по осі x, нормалізована оренда по осі y; дві лінії — Чикаго та середня по США — рухаються синхронно.

Основи інференції в Python

R Пірсона в SciPy

r, p_value = stats.pearsonr(chicago_rents, usa_rents)

print(r)
0.939
print(p_value < 0.05)
TRUE

Висновок: ціни оренди в США та Чикаго корелюють

Основи інференції в Python

Пояснена дисперсія

$R^2:$ частка поясненої варіації

print(r**2)
0.883
  • 88,3% варіації оренди в Чикаго пояснюється орендою в США

Точкова діаграма: середня оренда в США по осі x, оренда в Чикаго по осі y; позитивний лінійний тренд.

Основи інференції в Python

Висновки з кореляції

  • Чинники, властиві лише Чикаго?
    • Ринок праці?
    • Погода?
    • Податки?
    • Щось інше?
  • Мета: пояснити решту варіації, не пояснену орендою в США
Основи інференції в Python

Недоліки кореляції

  • Корельовані дані — не незалежні
  • Порушують припущення деяких гіпотезних тестів
  • Дані можуть корелювати із собою

Лінійний графік: дата по осі x, нормалізована оренда по осі y; лінія спадає з 2011 до 2012, потім зростає до 2017.

Основи інференції в Python

Автокореляція

  • Автокореляція: кореляція з попередніми вимірюваннями
  • Ціни оренди схильні корелювати з цінами рік тому

Точкова діаграма: оренда в Чикаго по осі x, оренда рік тому в Чикаго по осі y; загалом позитивний лінійний тренд.

Основи інференції в Python

Давайте потренуємось!

Основи інференції в Python

Preparing Video For Download...