Aşırı Saçılma Sorunu

Python ile Genelleştirilmiş Doğrusal Modeller

Ita Cirovic Donev

Data Science Consultant

Veriyi anlama

Uydu sayısının dağılım grafiği (yengeç)

# mean of y
y_mean = crab['sat'].mean()

2.919

# variance of y
y_variance = crab['sat'].var()

9.912
Python ile Genelleştirilmiş Doğrusal Modeller

Ortalama varyansa eşit değil

  • $variance > mean$ $\rightarrow$ aşırı saçılma
  • $variance < mean$ $\rightarrow$ yetersiz saçılma

Sonuçları:

  • Küçük standart hatalar
  • Küçük p-değeri
Python ile Genelleştirilmiş Doğrusal Modeller

Aşırı saçılma nasıl kontrol edilir?

Uydurma model özetinde artık df ve Pearson Ki-kare istatistiği vurgulu.

Python ile Genelleştirilmiş Doğrusal Modeller

Tahmini aşırı saçılmayı hesaplayın

ratio = crab_fit.pearson_chi2 / crab_fit.df_resid
print(ratio)

3.134

  • Oran $ =1$ $\rightarrow$ yaklaşık Poisson

  • Oran $ <1$ $\rightarrow$ yetersiz saçılma

  • Oran $ >1$ $\rightarrow$ aşırı saçılma

Python ile Genelleştirilmiş Doğrusal Modeller

Negatif Binom Regresyonu

  • $E(y)=\lambda$
  • $Var(y) = \lambda+\alpha\lambda^2$
  • $\alpha$ - saçılma parametresi
Python ile Genelleştirilmiş Doğrusal Modeller

Python'da Negatif Binom GLM

import statsmodels.api as sm
from statsmodels.formula.api import glm

model = glm('y ~ x', data = my_data, 
            family = sm.families.NegativeBinomial(alpha = 1)).fit()
Python ile Genelleştirilmiş Doğrusal Modeller

Haydi pratik yapalım!

Python ile Genelleştirilmiş Doğrusal Modeller

Preparing Video For Download...