Testy normalności

Podstawy wnioskowania statystycznego w Pythonie

Paul Savala

Assistant Professor of Mathematics

Wzrost mężczyzn w USA

Histogram o przybliżonym rozkładzie normalnym: średni wzrost 180 cm, minimum 160 cm, maksimum 200 cm.

Reszty modelu

Wykres punktowy: staż pracy na osi X, roczne wynagrodzenie na osi Y, dodatnia tendencja liniowa. Czerwona linia najlepszego dopasowania.

Oczekiwany równy rozkład po obu stronach prognozy

Reszty modelu

Histogram z resztą (błędem) na osi X i liczebnością na osi Y. Rozkład dwumodalny: jeden wierzchołek około -10 000, drugi około +30 000.

Zastosowania rozkładu normalnego

Testy parametryczne – zakładają normalność rozkładu
Test t dla porównania średnich:
- Zakłada normalność rozkładu średnich próby
- W przeciwnym razie wnioski są nieważne

Histogram wynagrodzeń od 60 000 do 95 000 na osi X i częstością na osi Y. Rozkład zbliżony do normalnego.

Test Andersona-Darlinga

Testuje założenie normalności

$H_0$: Dane mają rozkład normalny

$H_a$: Dane nie mają rozkładu normalnego

Test Andersona-Darlinga w SciPy

result = stats.anderson(police_df['Annual Salary'])

result.statistic

27.41

result.critical_values

[0.574, 0.654, 0.784, 0.915, 1.088]

result.significance_level[result.statistic > result.critical_values]

[15.  10.   5.   2.5  1. ]

Dopasowanie rozkładu normalnego

mu, std = stats.norm.fit(police_df['Annual Salary'])


estimated_pct_under_70k = stats.norm.cdf(70000, loc=mu, scale=std)


print(estimated_pct_under_70k)

0.27

actual_under_70k = police_df[police_df['Annual Salary'] < 70000]

print(len(actual_under_70k) / len(police_df))

0.20

Czas na ćwiczenia!

Podstawy wnioskowania statystycznego w Pythonie