Количественная оценка линейных зависимостей

Введение в линейное моделирование на Python

Jason Vestuto

Data Scientist

Предварительная визуализация

3 панели, 3 диаграммы рассеяния, от сильной до нулевой корреляции слева направо

Введение в линейное моделирование на Python

Повторение: статистика одной переменной

# Mean
mean = sum(x)/len(x)
# Deviation, sometimes called "centering"
dx = x - np.mean(x)
# Variance
variance = np.mean(dx*dx)
# Standard Deviation
stdev = np.sqrt(variance)
Введение в линейное моделирование на Python

Ковариация

# Deviations of two variables
dx = x - np.mean(x)
dy = y - np.mean(y)
# Co-vary means to vary together
deviation_products = dx*dy
# Covariance as the mean
covariance = np.mean(dx*dy)
Введение в линейное моделирование на Python

Корреляция

# Divide deviations by standard deviation 
zx = dx/np.std(x)
zy = dy/np.std(y)
# Mean of the normalize deviations
correlation = np.mean(zx*zy)
Введение в линейное моделирование на Python

Нормализация: до

График распределений Гаусса, колоколообразные кривые с разными центрами, высотой и шириной

Введение в линейное моделирование на Python

Нормализация: после

График распределений Гаусса, колоколообразные кривые, обе центрированы на нуле, одинаковой высоты и ширины

Введение в линейное моделирование на Python

Модуль и направление

  • Значения корреляции: от -1 до +1

6 панелей, 2 строки по 3 столбца, диаграммы рассеяния, корреляция убывает слева направо

  • Две составляющие: модуль (от 1 до 0) и знак (+ или -)
Введение в линейное моделирование на Python

Давайте потренируемся!

Введение в линейное моделирование на Python

Preparing Video For Download...