Significância estatística

Testes de Hipóteses em Python

James Chapman

Curriculum Manager, DataCamp

Recap de p-value

p-values quantificam a evidência a favor da hipótese nula
p-value alto → não rejeitar a hipótese nula
p-value baixo → rejeitar a hipótese nula
Qual é o ponto de corte?

Nível de significância

O nível de significância de um teste de hipótese ($\alpha$) é o limite para "além de dúvida razoável"

Valores comuns de $\alpha$: 0.2, 0.1, 0.05 e 0.01
Se $p \le \alpha$, rejeite $H_{0}$; caso contrário, não rejeite $H_{0}$
Defina $\alpha$ antes de conduzir o teste

Calculando o p-value

alpha = 0.05

prop_child_samp = (stack_overflow['age_first_code_cut'] == "child").mean()
prop_child_hyp = 0.35

std_error = np.std(first_code_boot_distn, ddof=1)

z_score = (prop_child_samp - prop_child_hyp) / std_error

p_value = 1 - norm.cdf(z_score, loc=0, scale=1)

3.1471479512323874e-05

Tomando a decisão

alpha = 0.05

print(p_value)

3.1471479512323874e-05

p_value <= alpha

True

Rejeite $H_{0}$ a favor de $H_{A}$

Intervalos de confiança

Para nível de significância $\alpha$, é comum usar intervalo de confiança de 1 - $\alpha$

$\alpha=0.05$ → intervalo de confiança de $95\%$

import numpy as np
lower = np.quantile(first_code_boot_distn, 0.025)
upper = np.quantile(first_code_boot_distn, 0.975)
print((lower, upper))

(0.37063246351172047, 0.41132242370632466)

Tipos de erro

	Realmente não cometeu o crime	Realmente cometeu o crime
Veredito inocente	correto	saiu impune
Veredito culpado	condenação injusta	correto

	$H_{0}$ verdadeiro	$H_{A}$ verdadeiro
$H_{0}$ escolhido	correto	falso negativo
$H_{A}$ escolhido	falso positivo	correto

Falsos positivos são erros Tipo I; falsos negativos são erros Tipo II.

Possíveis erros no nosso exemplo

Se $p \le \alpha$, rejeitamos $H_{0}$:

Falso positivo (Tipo I): cientistas de dados não começaram a programar na infância em taxa maior

Se $ p \gt \alpha$, não rejeitamos $H_{0}$:

Falso negativo (Tipo II): cientistas de dados começaram a programar na infância em taxa maior

Vamos praticar!

Testes de Hipóteses em Python