Statistische Signifikanz

Hypothesentests in Python

James Chapman

Curriculum Manager, DataCamp

p-Wert: Rückblick

p-Werte quantifizieren die Evidenz für die Nullhypothese
Großer p-Wert → Nullhypothese nicht verwerfen
Kleiner p-Wert → Nullhypothese verwerfen
Wo liegt der Grenzwert?

Signifikanzniveau

Das Signifikanzniveau eines Hypothesentests ($\alpha$) ist die Schwelle für „jenseits vernünftigen Zweifels“

Übliche Werte für $\alpha$: 0.2, 0.1, 0.05, 0.01
Wenn $p \le \alpha$, $H_{0}$ verwerfen, sonst $H_{0}$ nicht verwerfen
$\alpha$ muss vor dem Test festgelegt werden

p-Wert berechnen

alpha = 0.05

prop_child_samp = (stack_overflow['age_first_code_cut'] == "child").mean()
prop_child_hyp = 0.35

std_error = np.std(first_code_boot_distn, ddof=1)

z_score = (prop_child_samp - prop_child_hyp) / std_error

p_value = 1 - norm.cdf(z_score, loc=0, scale=1)

3.1471479512323874e-05

Entscheidung treffen

alpha = 0.05

print(p_value)

3.1471479512323874e-05

p_value <= alpha

True

$H_{0}$ zugunsten von $H_{A}$ verwerfen

Konfidenzintervalle

Für ein Signifikanzniveau $\alpha$ wählt man oft ein Konfidenzniveau von 1 − $\alpha$

$\alpha=0.05$ → $95\%$‑Konfidenzintervall

import numpy as np
lower = np.quantile(first_code_boot_distn, 0.025)
upper = np.quantile(first_code_boot_distn, 0.975)
print((lower, upper))

(0.37063246351172047, 0.41132242370632466)

Fehlerarten

	Hat wirklich kein Verbrechen begangen	Hat wirklich ein Verbrechen begangen
Urteil nicht schuldig	korrekt	sie kamen davon
Urteil schuldig	Fehlurteil	korrekt

	tatsächliches $H_{0}$	tatsächliches $H_{A}$
gewähltes $H_{0}$	korrekt	falsch negativ
gewähltes $H_{A}$	falsch positiv	korrekt

Falsch-Positive sind Fehler 1. Art; Falsch-Negative sind Fehler 2. Art.

Mögliche Fehler in unserem Beispiel

Wenn $p \le \alpha$, verwerfen wir $H_{0}$:

Falsch-Positiv (1. Art): Data Scientists haben nicht häufiger als Kinder mit dem Coden begonnen

Wenn $ p \gt \alpha$, verwerfen wir $H_{0}$ nicht:

Falsch-Negativ (2. Art): Data Scientists haben häufiger als Kinder mit dem Coden begonnen

Lass uns üben!

Hypothesentests in Python