Chí-kvadrát test nezávislosti
Testování hypotéz v Pythonu
James Chapman
Curriculum Manager, DataCamp
Opakování: test pro proporce
age_by_hobbyist = stack_overflow.groupby("age_cat")['hobbyist'].value_counts()
age_cat hobbyist
At least 30 Yes 812
No 238
Under 30 Yes 1021
No 190
Name: hobbyist, dtype: int64
from statsmodels.stats.proportion import proportions_ztest
n_hobbyists = np.array([812, 1021])
n_rows = np.array([812 + 238, 1021 + 190])
stat, p_value = proportions_ztest(count=n_hobbyists, nobs=n_rows,
alternative="two-sided")
(-4.223691463320559, 2.403330142685068e-05)
Nezávislost proměnných
Výsledek předchozího testu: důkaz asociace mezi hobbyist a age_cat
Statistická nezávislost – podíl úspěchů v závisle proměnné je stejný ve všech kategoriích nezávisle proměnné
Test nezávislosti proměnných
import pingouin
expected, observed, stats = pingouin.chi2_independence(data=stack_overflow, x='hobbyist',
y='age_cat', correction=False)
print(stats)
test lambda chi2 dof pval cramer power
0 pearson 1.000000 17.839570 1.0 0.000024 0.088826 0.988205
1 cressie-read 0.666667 17.818114 1.0 0.000024 0.088773 0.988126
2 log-likelihood 0.000000 17.802653 1.0 0.000025 0.088734 0.988069
3 freeman-tukey -0.500000 17.815060 1.0 0.000024 0.088765 0.988115
4 mod-log-likelihood -1.000000 17.848099 1.0 0.000024 0.088848 0.988236
5 neyman -2.000000 17.976656 1.0 0.000022 0.089167 0.988694
$\chi^2$ statistika = 17.839570 = $(-4.223691463320559)^2$ = ($z$-skóre)$^2$
Pracovní spokojenost a věková kategorie
stack_overflow['age_cat'].value_counts()
Under 30 1211
At least 30 1050
Name: age_cat, dtype: int64
stack_overflow['job_sat'].value_counts()
Very satisfied 879
Slightly satisfied 680
Slightly dissatisfied 342
Neither 201
Very dissatisfied 159
Name: job_sat, dtype: int64
Formulace hypotéz
$H_{0}$: Věkové kategorie jsou nezávislé na úrovních pracovní spokojenosti
$H_{A}$: Věkové kategorie nejsou nezávislé na úrovních pracovní spokojenosti
alpha = 0.1
- Testovací statistika označována $\chi^{2}$
- Za předpokladu nezávislosti: jak daleko jsou pozorované výsledky od očekávaných hodnot?
Průzkumná vizualizace: proporcionální skládaný sloupcový graf
props = stack_overflow.groupby('job_sat')['age_cat'].value_counts(normalize=True)wide_props = props.unstack()wide_props.plot(kind="bar", stacked=True)
Průzkumná vizualizace: proporcionální skládaný sloupcový graf
Chí-kvadrát test nezávislosti
import pingouin
expected, observed, stats = pingouin.chi2_independence(data=stack_overflow, x="job_sat", y="age_cat")
print(stats)
test lambda chi2 dof pval cramer power
0 pearson 1.000000 5.552373 4.0 0.235164 0.049555 0.437417
1 cressie-read 0.666667 5.554106 4.0 0.235014 0.049563 0.437545
2 log-likelihood 0.000000 5.558529 4.0 0.234632 0.049583 0.437871
3 freeman-tukey -0.500000 5.562688 4.0 0.234274 0.049601 0.438178
4 mod-log-likelihood -1.000000 5.567570 4.0 0.233854 0.049623 0.438538
5 neyman -2.000000 5.579519 4.0 0.232828 0.049676 0.439419
Stupně volnosti:
$(\text{Počet kategorií závisle proměnné} - 1) \times (\text{Počet kategorií nezávisle proměnné} - 1)$
$(2 - 1) * (5 - 1) = 4$
Záměna proměnných?
props = stack_overflow.groupby('age_cat')['job_sat'].value_counts(normalize=True)
wide_props = props.unstack()
wide_props.plot(kind="bar", stacked=True)
Záměna proměnných?
Chí-kvadrát oběma směry
expected, observed, stats = pingouin.chi2_independence(data=stack_overflow, x="age_cat", y="job_sat")
print(stats[stats['test'] == 'pearson'])
test lambda chi2 dof pval cramer power
0 pearson 1.0 5.552373 4.0 0.235164 0.049555 0.437417
Otázka: Jsou proměnné X a Y nezávislé?
Ne: Je proměnná X nezávislá na proměnné Y?
Směr a jednostrannost testu?
- Kvadráty pozorovaných a očekávaných četností musí být nezáporné
- Chí-kvadrát testy jsou téměř vždy pravostranné $^{1}$
1 Levostranné chí-kvadrát testy se používají ve statistické forenzní analýze k detekci podezřele dobrého shody způsobené falšováním dat. Chí-kvadrát testy rozptylu mohou být oboustranné. Jedná se však o okrajová využití.
Lass uns üben!
Testování hypotéz v Pythonu
