Тесты на корреляцию

Основы статистического вывода на Python

Paul Savala

Assistant Professor of Mathematics

Корреляция

Статистическая связь между двумя переменными

Два синусоидальных графика, приблизительно коррелирующих друг с другом.

Основы статистического вывода на Python

Арендные цены в Чикаго

Линейный график: ось X — дата, ось Y — нормализованная арендная плата; линия убывает с 2011 по 2012 год, затем растёт с 2012 по 2017 год.

1 https://www.zillow.com/research/data/
Основы статистического вывода на Python

Арендные цены: Чикаго vs. США

Линейный график: ось X — дата, ось Y — нормализованная арендная плата; две линии — арендные цены в Чикаго и среднее по США — движутся синхронно.

Основы статистического вывода на Python

Корреляция Пирсона в SciPy

r, p_value = stats.pearsonr(chicago_rents, usa_rents)

print(r)
0.939
print(p_value < 0.05)
TRUE

Вывод: Арендные цены в США и Чикаго коррелируют

Основы статистического вывода на Python

Объяснённая дисперсия

$R^2:$ Доля объяснённой дисперсии

print(r**2)
0.883
  • 88,3% вариации аренды в Чикаго объясняется арендой по США

Диаграмма рассеяния: ось X — средняя арендная плата по США, ось Y — арендная плата в Чикаго; прослеживается положительная линейная тенденция.

Основы статистического вывода на Python

Выводы из корреляции

  • Факторы, специфичные для Чикаго?
    • Перспективы занятости?
    • Климат?
    • Налоги?
    • Что-то ещё?
  • Цель: объяснить оставшуюся дисперсию, не объяснённую арендой по США
Основы статистического вывода на Python

Ограничения корреляции

  • Коррелированные данные не являются независимыми
  • Это нарушает допущения ряда статистических тестов
  • Данные могут коррелировать сами с собой

Линейный график: ось X — дата, ось Y — нормализованная арендная плата; линия убывает с 2011 по 2012 год, затем растёт с 2012 по 2017 год.

Основы статистического вывода на Python

Автокорреляция

  • Автокорреляция: корреляция с прошлыми значениями
  • Арендные цены, как правило, коррелируют с ценами годом ранее

Диаграмма рассеяния: ось X — текущая арендная плата в Чикаго, ось Y — арендная плата годом ранее; прослеживается положительная линейная тенденция.

Основы статистического вывода на Python

Давайте потренируемся!

Основы статистического вывода на Python

Preparing Video For Download...