Cách hoạt động của hồi quy logistic

Hồi quy trung cấp với R

Richie Cotton

Data Evangelist at DataCamp

Tổng bình phương không phù hợp

sum((y_pred - y_actual) ^ 2)

y_actual luôn là 0 hoặc 1.

y_pred nằm giữa 01.

Có một thước đo tốt hơn tổng bình phương.

Hồi quy trung cấp với R

Likelihood

    y_pred * y_actual
Hồi quy trung cấp với R

Likelihood

    y_pred * y_actual + (1 - y_pred) * (1 - y_actual)
Hồi quy trung cấp với R

Likelihood

sum(y_pred * y_actual + (1 - y_pred) * (1 - y_actual))

Khi y_actual = 1

y_pred * 1 + (1 - y_pred) * (1 - 1) = y_pred

Khi y_actual = 0

y_pred * 0 + (1 - y_pred) * (1 - 0) = 1 - y_pred
Hồi quy trung cấp với R

Log-likelihood

  • Tính likelihood phải cộng nhiều số rất nhỏ, dễ gây lỗi số học.
  • Log-likelihood dễ tính hơn.
log(y_pred) * y_actual + log(1 - y_pred) * (1 - y_actual)

Hai công thức cho cùng kết quả.

Hồi quy trung cấp với R

Negative log-likelihood

Tối đa hóa log-likelihood tương đương với tối thiểu hóa negative log-likelihood.

-sum(log_likelihoods)
Hồi quy trung cấp với R

Thuật toán hồi quy logistic

calc_neg_log_likelihood <- function(coeffs) {

intercept <- coeffs[1] slope <- coeffs[2]
# More calculation!
}
optim(
  par = ???,
  fn = ???
)
Hồi quy trung cấp với R

Ayo berlatih!

Hồi quy trung cấp với R

Preparing Video For Download...