Jak działa regresja liniowa

Regresja średnio zaawansowana ze statsmodels w Pythonie

Maarten Van den Broeck

Content Developer at DataCamp

Standardowy wykres prostej regresji liniowej

Wykres punktowy z linią trendu regresji liniowej.

Wizualizacja reszt

Wykres punktowy z linią trendu oraz odcinkami od punktów do linii, reprezentującymi reszty.

Metryka dopasowania

Najprostsze podejście (które nie działa)

Zsumuj wszystkie reszty.
Niektóre reszty są ujemne.

Kolejne podejście (które działa)

Podnieś każdą resztę do kwadratu i zsumuj te kwadraty.
Nazywa się to sumą kwadratów.

Wprowadzenie do optymalizacji numerycznej

Wykres liniowy funkcji kwadratowej

x = np.arange(-4, 5, 0.1)
y = x ** 2 - x + 10

xy_data = pd.DataFrame({"x": x,
                        "y": y})

sns.lineplot(x="x",
             y="y",
             data=xy_data)

Funkcja kwadratowa y = x ** 2 - x + 10

Rozwiązywanie równania metodą rachunku różniczkowego

$y = x ^ 2 - x + 10$

$\frac{\partial y}{\partial x} = 2 x - 1$

$0 = 2 x - 1$

$x = 0.5$

$y = 0.5 ^ 2 - 0.5 + 10 = 9.75$

Nie wszystkie równania można rozwiązać w ten sposób.
Można pozwolić, aby Python znalazł rozwiązanie.

Nie ma potrzeby rozumieć tych zagadnień — nie będą potrzebne w ćwiczeniach.

Poprzednia funkcja kwadratowa z zaznaczonym minimum

minimize()

from scipy.optimize import minimize

def calc_quadratic(x):
  y = x ** 2 - x + 10
  return y

minimize(fun=calc_quadratic,
         x0=3)

      fun: 9.75
 hess_inv: array([[0.5]])
      jac: array([0.])
  message: 'Optimization terminated successfully.'
     nfev: 6
      nit: 2
     njev: 3
   status: 0
  success: True
        x: array([0.49999998])

Algorytm regresji liniowej

Zdefiniuj funkcję obliczającą metrykę sumy kwadratów.

Użyj minimize(), aby znaleźć współczynniki minimalizujące tę funkcję.

def calc_sum_of_squares(coeffs):
  intercept, slope = coeffs
  # More calculation!

minimize(
  fun=calc_sum_of_squares,
  x0=0
)

Czas na ćwiczenia!

Regresja średnio zaawansowana ze statsmodels w Pythonie