Как работает линейная регрессия

Промежуточная регрессия со statsmodels в Python

Maarten Van den Broeck

Content Developer at DataCamp

Стандартный график простой линейной регрессии

Диаграмма рассеяния с линией тренда линейной регрессии.

Визуализация остатков

Диаграмма рассеяния с линией тренда линейной регрессии и отрезками от точек до линии тренда, обозначающими остатки.

Метрика наилучшего соответствия

Простейшая идея (которая не работает)

Сложить все остатки.
Некоторые остатки отрицательны.

Следующая идея (которая работает)

Возвести каждый остаток в квадрат и сложить квадраты.
Это называется суммой квадратов.

Введение в численную оптимизацию

Линейный график квадратичной функции

x = np.arange(-4, 5, 0.1)
y = x ** 2 - x + 10

xy_data = pd.DataFrame({"x": x,
                        "y": y})

sns.lineplot(x="x",
             y="y",
             data=xy_data)

Квадратичная функция y = x ** 2 - x + 10

Решение уравнения с помощью математического анализа

$y = x ^ 2 - x + 10$

$\frac{\partial y}{\partial x} = 2 x - 1$

$0 = 2 x - 1$

$x = 0.5$

$y = 0.5 ^ 2 - 0.5 + 10 = 9.75$

Не все уравнения решаются таким способом.
Python может найти решение автоматически.

Не беспокойтесь, если это кажется сложным — для упражнений это не потребуется.

Предыдущая квадратичная функция с найденным минимумом

minimize()

from scipy.optimize import minimize

def calc_quadratic(x):
  y = x ** 2 - x + 10
  return y

minimize(fun=calc_quadratic,
         x0=3)

      fun: 9.75
 hess_inv: array([[0.5]])
      jac: array([0.])
  message: 'Optimization terminated successfully.'
     nfev: 6
      nit: 2
     njev: 3
   status: 0
  success: True
        x: array([0.49999998])

Алгоритм линейной регрессии

Определите функцию для вычисления метрики суммы квадратов.

Вызовите minimize(), чтобы найти коэффициенты, минимизирующие эту функцию.

def calc_sum_of_squares(coeffs):
  intercept, slope = coeffs
  # More calculation!

minimize(
  fun=calc_sum_of_squares,
  x0=0
)

Давайте потренируемся!

Промежуточная регрессия со statsmodels в Python