Normalitetstester

Grunderna i inferens med Python

Paul Savala

Assistant Professor of Mathematics

Längd hos amerikanska män

Ett histogram som är ungefär normalfördelat, med en medellängd på 180 centimeter, en minsta längd på 160 centimeter och en maximal längd på 200 centimeter.

Modellresidualerna

Ett spridningsdiagram med anställningsår på x-axeln, årslön på y-axeln och en generellt positiv linjär trend. En röd regressionslinje är också inritad.

Förväntad jämn fördelning ovanför och under prediktionen

Modellresidualerna

Ett histogram med "residual (fel)" på x-axeln, "antal" på y-axeln och en bimodal fördelning med ett läge runt minus tiotusen och ett annat läge runt plus trettiotusen.

Tillämpningar av normalfördelningar

Parametriska tester – hypotestester som förutsätter normalfördelning
T-test för att jämföra medelvärden:
- Förutsätter att urvalsmedelvärdena är normalfördelade
- Om inte, är slutsatserna ogiltiga

Ett histogram med löner mellan sextiotusen och nittiofemtusen på x-axeln och frekvens på y-axeln. Histogrammet liknar relativt väl en normalfördelning.

Anderson-Darling-testet för normalitet

Testar antagandet om normalfördelning

$H_0$: Data är normalfördelade

$H_a$: Data är inte normalfördelade

Anderson-Darling-testet i SciPy

result = stats.anderson(police_df['Annual Salary'])

result.statistic

27.41

result.critical_values

[0.574, 0.654, 0.784, 0.915, 1.088]

result.significance_level[result.statistic > result.critical_values]

[15.  10.   5.   2.5  1. ]

Anpassa en normalfördelning

mu, std = stats.norm.fit(police_df['Annual Salary'])


estimated_pct_under_70k = stats.norm.cdf(70000, loc=mu, scale=std)


print(estimated_pct_under_70k)

0.27

actual_under_70k = police_df[police_df['Annual Salary'] < 70000]

print(len(actual_under_70k) / len(police_df))

0.20

Nu kör vi en övning!

Grunderna i inferens med Python