ロジスティック回帰の仕組み

Rで学ぶ中級回帰分析

Richie Cotton

Data Evangelist at DataCamp

二乗和は適さない

sum((y_pred - y_actual) ^ 2)

y_actual は常に 0 または 1。

y_pred は 0〜1 の間。

二乗和より良い指標があります。

    y_pred * y_actual

    y_pred * y_actual + (1 - y_pred) * (1 - y_actual)

sum(y_pred * y_actual + (1 - y_pred) * (1 - y_actual))

y_actual = 1 のとき

y_pred * 1 + (1 - y_pred) * (1 - 1) = y_pred

y_actual = 0 のとき

y_pred * 0 + (1 - y_pred) * (1 - 0) = 1 - y_pred

log(y_pred) * y_actual + log(1 - y_pred) * (1 - y_actual)

どちらの式も同じ結果になります。

対数尤度の最大化は、負の対数尤度の最小化と同じです。

-sum(log_likelihoods)

calc_neg_log_likelihood <- function(coeffs) {

  intercept <- coeffs[1]
  slope <- coeffs[2]

  # More calculation!

}

optim(
  par = ???,
  fn = ???
)

Rで学ぶ中級回帰分析