स्वतंत्रता के लिए chi-square परीक्षण
Python में Hypothesis Testing
James Chapman
Curriculum Manager, DataCamp
प्रपोर्शन टेस्ट पर फिर नज़र
age_by_hobbyist = stack_overflow.groupby("age_cat")['hobbyist'].value_counts()
age_cat hobbyist
At least 30 Yes 812
No 238
Under 30 Yes 1021
No 190
Name: hobbyist, dtype: int64
from statsmodels.stats.proportion import proportions_ztest
n_hobbyists = np.array([812, 1021])
n_rows = np.array([812 + 238, 1021 + 190])
stat, p_value = proportions_ztest(count=n_hobbyists, nobs=n_rows,
alternative="two-sided")
(-4.223691463320559, 2.403330142685068e-05)
वैरिएबल्स की स्वतंत्रता
पिछले हाइपोथेसिस टेस्ट का निष्कर्ष: hobbyist और age_cat जुड़े होने के प्रमाण हैं
Statistical independence - प्रतिक्रिया वैरिएबल में सफलता का अनुपात, व्याख्यात्मक वैरिएबल की सभी श्रेणियों में समान होता है
वैरिएबल्स की स्वतंत्रता का परीक्षण
import pingouin
expected, observed, stats = pingouin.chi2_independence(data=stack_overflow, x='hobbyist',
y='age_cat', correction=False)
print(stats)
test lambda chi2 dof pval cramer power
0 pearson 1.000000 17.839570 1.0 0.000024 0.088826 0.988205
1 cressie-read 0.666667 17.818114 1.0 0.000024 0.088773 0.988126
2 log-likelihood 0.000000 17.802653 1.0 0.000025 0.088734 0.988069
3 freeman-tukey -0.500000 17.815060 1.0 0.000024 0.088765 0.988115
4 mod-log-likelihood -1.000000 17.848099 1.0 0.000024 0.088848 0.988236
5 neyman -2.000000 17.976656 1.0 0.000022 0.089167 0.988694
$\chi^2$ सांख्यिक = 17.839570 = $(-4.223691463320559)^2$ = ($z$-स्कोर)$^2$
नौकरी संतुष्टि और आयु श्रेणी
stack_overflow['age_cat'].value_counts()
Under 30 1211
At least 30 1050
Name: age_cat, dtype: int64
stack_overflow['job_sat'].value_counts()
Very satisfied 879
Slightly satisfied 680
Slightly dissatisfied 342
Neither 201
Very dissatisfied 159
Name: job_sat, dtype: int64
हाइपोथेसिस घोषित करना
$H_{0}$: आयु श्रेणियाँ, नौकरी संतुष्टि स्तरों से स्वतंत्र हैं
$H_{A}$: आयु श्रेणियाँ, नौकरी संतुष्टि स्तरों से स्वतंत्र नहीं हैं
alpha = 0.1
- टेस्ट सांख्यिक $\chi^{2}$ से सूचित
- स्वतंत्रता मानकर, देखे गए परिणाम अपेक्षित मानों से कितने दूर हैं?
एक्सप्लोरेटरी विज़ुअलाइज़ेशन: प्रपोर्शन्ल स्टैक्ड बार प्लॉट
props = stack_overflow.groupby('job_sat')['age_cat'].value_counts(normalize=True)wide_props = props.unstack()wide_props.plot(kind="bar", stacked=True)
एक्सप्लोरेटरी विज़ुअलाइज़ेशन: प्रपोर्शन्ल स्टैक्ड बार प्लॉट
Chi-square स्वतंत्रता परीक्षण
import pingouin
expected, observed, stats = pingouin.chi2_independence(data=stack_overflow, x="job_sat", y="age_cat")
print(stats)
test lambda chi2 dof pval cramer power
0 pearson 1.000000 5.552373 4.0 0.235164 0.049555 0.437417
1 cressie-read 0.666667 5.554106 4.0 0.235014 0.049563 0.437545
2 log-likelihood 0.000000 5.558529 4.0 0.234632 0.049583 0.437871
3 freeman-tukey -0.500000 5.562688 4.0 0.234274 0.049601 0.438178
4 mod-log-likelihood -1.000000 5.567570 4.0 0.233854 0.049623 0.438538
5 neyman -2.000000 5.579519 4.0 0.232828 0.049676 0.439419
डिग्रीज़ ऑफ फ्रीडम:
$(\text{प्रतिक्रिया श्रेणियाँ} - 1) \times (\text{व्याख्यात्मक श्रेणियाँ} - 1)$
$(2 - 1) * (5 - 1) = 4$
वैरिएबल्स बदलें?
props = stack_overflow.groupby('age_cat')['job_sat'].value_counts(normalize=True)
wide_props = props.unstack()
wide_props.plot(kind="bar", stacked=True)
वैरिएबल्स बदलें?
chi-square दोनों तरीकों से
expected, observed, stats = pingouin.chi2_independence(data=stack_overflow, x="age_cat", y="job_sat")
print(stats[stats['test'] == 'pearson'])
test lambda chi2 dof pval cramer power
0 pearson 1.0 5.552373 4.0 0.235164 0.049555 0.437417
पूछें: क्या वैरिएबल X और Y स्वतंत्र हैं?
न कि: क्या वैरिएबल X, वैरिएबल Y से स्वतंत्र है?
दिशा और टेल्स के बारे में क्या?
- प्रेक्षित और अपेक्षित काउंट्स के वर्ग गैर-निगेटिव होने चाहिए
- chi-square टेस्ट लगभग हमेशा राइट-टेल्ड होते हैं $^{1}$
1 लेफ्ट-टेल्ड chi-square टेस्ट, सांख्यिकीय फॉरेंसिक में तब उपयोग होते हैं जब फिट संदिग्ध रूप से अच्छा लगे, क्योंकि डेटा गढ़ा गया हो सकता है. वैरिएंस के chi-square टेस्ट दो-टेल्ड हो सकते हैं. हालांकि, ये विशिष्ट उपयोग हैं.
अभ्यास करते हैं!
Python में Hypothesis Testing
