执行 t 检验

Python 假设检验

James Chapman

Curriculum Manager, DataCamp

双样本问题

比较变量在不同组的样本统计量
converted_comp 是数值型变量
age_first_code_cut 是分类型变量，水平为（"child" 与 "adult"）
先在童年编程的用户，报酬是否高于成年才开始的用户？

假设

$H_{0}$：编码于童年与成年的两组，其平均报酬（USD）相同。

$H_{0}$: $\mu_{child} = \mu_{adult}$

$H_{0}$: $\mu_{child} - \mu_{adult} = 0$

$H_{A}$：与成年才开始的人相比，童年开始编码者的平均报酬（USD）更高。

$H_{A}$: $\mu_{child} > \mu_{adult}$

$H_{A}$: $\mu_{child} - \mu_{adult} > 0$

计算分组汇总统计量

stack_overflow.groupby('age_first_code_cut')['converted_comp'].mean()

age_first_code_cut
adult    111313.311047
child    132419.570621
Name: converted_comp, dtype: float64

检验统计量

样本均值用于估计总体均值
$\bar{x}$：样本均值
$\bar{x}_{child}$：童年开始编码者的样本平均报酬
$\bar{x}_{adult}$：成年开始编码者的样本平均报酬
$\bar{x}_{child} - \bar{x}_{adult}$：一个检验统计量
z 分数：一种（标准化的）检验统计量

检验统计量的标准化

$z = \dfrac{\text{sample stat} - \text{population parameter}}{\text{standard error}}$

$t = \dfrac{\text{difference in sample stats} - \text{difference in population parameters}}{\text{standard error}}$

$t = \dfrac{(\bar{x}_{\text{child}} - \bar{x}_{\text{adult}}) - (\mu_{\text{child}} - \mu_{\text{adult}})}{SE(\bar{x}_{\text{child}} - \bar{x}_{\text{adult}})}$

标准误

$SE(\bar{x}_{\text{child}} - \bar{x}_{\text{adult}}) \approx \sqrt{\dfrac{s_{\text{child}}^2}{n_{\text{child}}} + \dfrac{s_{\text{adult}}^2}{n_{\text{adult}}}}$

$s$ 为该变量的标准差

$n$ 为样本量（样本中的观测/行数）

在原假设成立时

$t = \dfrac{(\bar{x}_{\text{child}} - \bar{x}_{\text{adult}}) - (\mu_{\text{child}} - \mu_{\text{adult}})}{SE(\bar{x}_{\text{child}} - \bar{x}_{\text{adult}})}$

$H_{0}$: $\mu_{\text{child}} - \mu_{\text{adult}} = 0$ $\rightarrow$ $t = \dfrac{(\bar{x}_{\text{child}} - \bar{x}_{\text{adult}}) }{SE(\bar{x}_{\text{child}} - \bar{x}_{\text{adult}})}$

$t = \dfrac{(\bar{x}_{\text{child}} - \bar{x}_{\text{adult}})}{\sqrt{\dfrac{s_{\text{child}}^2}{n_{\text{child}}} + \dfrac{s_{\text{adult}}^2}{n_{\text{adult}}}}}$

原假设成立时的计算

xbar = stack_overflow.groupby('age_first_code_cut')['converted_comp'].mean()

adult    111313.311047
child    132419.570621
Name: converted_comp, dtype: float64 age_first_code_cut

s = stack_overflow.groupby('age_first_code_cut')['converted_comp'].std()

adult    271546.521729
child    255585.240115
Name: converted_comp, dtype: float64 age_first_code_cut

n = stack_overflow.groupby('age_first_code_cut')['converted_comp'].count()

adult    1376
child     885
Name: converted_comp, dtype: int64

计算检验统计量

$t = \dfrac{(\bar{x}_{\text{child}} - \bar{x}_{\text{adult}})}{\sqrt{\dfrac{s_{\text{child}}^2}{n_{\text{child}}} + \dfrac{s_{\text{adult}}^2}{n_{\text{adult}}}}}$

import numpy as np
numerator = xbar_child - xbar_adult
denominator = np.sqrt(s_child ** 2 / n_child + s_adult ** 2 / n_adult)
t_stat = numerator / denominator

1.8699313316221844

Passons à la pratique !

Python 假设检验