Vấn đề phương sai vượt mức

Mô hình Tuyến tính Tổng quát (GLM) trong Python

Ita Cirovic Donev

Data Science Consultant

Hiểu dữ liệu

Biểu đồ phân phối số vệ tinh (cua)

# mean of y
y_mean = crab['sat'].mean()

2.919

# variance of y
y_variance = crab['sat'].var()

9.912
Mô hình Tuyến tính Tổng quát (GLM) trong Python

Kỳ vọng khác phương sai

  • $variance > mean$ $\rightarrow$ phương sai vượt mức
  • $variance < mean$ $\rightarrow$ phương sai thiếu

Hệ quả:

  • Sai số chuẩn nhỏ
  • p-value nhỏ
Mô hình Tuyến tính Tổng quát (GLM) trong Python

Kiểm tra phương sai vượt mức như thế nào?

Tóm tắt mô hình đã khớp với phần đánh dấu df dư và thống kê Pearson Chi-square.

Mô hình Tuyến tính Tổng quát (GLM) trong Python

Tính phương sai vượt mức ước lượng

ratio = crab_fit.pearson_chi2 / crab_fit.df_resid
print(ratio)

3.134

  • Tỉ lệ $ =1$ $\rightarrow$ xấp xỉ Poisson

  • Tỉ lệ $ <1$ $\rightarrow$ phương sai thiếu

  • Tỉ lệ $ >1$ $\rightarrow$ phương sai vượt mức

Mô hình Tuyến tính Tổng quát (GLM) trong Python

Hồi quy nhị thức âm

  • $E(y)=\lambda$
  • $Var(y) = \lambda+\alpha\lambda^2$
  • $\alpha$ - tham số phân tán
Mô hình Tuyến tính Tổng quát (GLM) trong Python

GLM nhị thức âm trong Python

import statsmodels.api as sm
from statsmodels.formula.api import glm

model = glm('y ~ x', data = my_data, 
            family = sm.families.NegativeBinomial(alpha = 1)).fit()
Mô hình Tuyến tính Tổng quát (GLM) trong Python

Ayo berlatih!

Mô hình Tuyến tính Tổng quát (GLM) trong Python

Preparing Video For Download...