邏輯斯迴歸的運作方式

使用 Python 的 statsmodels 進行迴歸分析：中級

Maarten Van den Broeck

Content Developer at DataCamp

平方和行不通

np.sum((y_pred - y_actual) ** 2)

y_actual 永遠是 0 或 1。

y_pred 介於 0 與 1 之間。

比平方和更好的衡量指標。

       y_pred * y_actual

       y_pred * y_actual + (1 - y_pred) * (1 - y_actual)

np.sum(y_pred * y_actual + (1 - y_pred) * (1 - y_actual))

當 y_actual = 1 時

y_pred * 1 + (1 - y_pred) * (1 - 1) = y_pred

當 y_actual = 0 時

y_pred * 0 + (1 - y_pred) * (1 - 0) = 1 - y_pred

log_likelihood = np.log(y_pred) * y_actual + np.log(1 - y_pred) * (1 - y_actual)

兩種式子會得到相同結果。

最大化對數概似度等同於最小化負對數概似度。

-np.sum(log_likelihoods)

def calc_neg_log_likelihood(coeffs)

  intercept, slope = coeffs

  # More calculation!

from scipy.optimize import minimize

minimize(
  fun=calc_neg_log_likelihood,
  x0=[0, 0]
)

使用 Python 的 statsmodels 進行迴歸分析：中級