Kiểm định tham số

Nền tảng Suy luận trong Python

Paul Savala

Assistant Professor or Mathematics

ANOVA

ANOVA - So sánh giá trị trung bình theo từng nhân tố
Đáp ứng - Giá trị số được đo
Nhân tố - Giá trị phân loại xác định nhóm

Bảng hiển thị vốn đầu tư mạo hiểm của nhiều công ty thuộc nhiều thị trường khác nhau.

ANOVA

investments_df.groupby('market')['funding_total_usd'].mean()

Market        Average funding
===========   ===============
Advertising      13806610
Analytics        14762930
Biotechnology    20838670
...              ...

Đáp ứng: Vốn huy động
Nhân tố: Thị trường
ANOVA: So sánh vốn huy động trung bình theo thị trường

Giả định của ANOVA

Đáp ứng theo từng nhân tố có phân phối chuẩn
- Số vốn theo thị trường có phân phối chuẩn
Đáp ứng theo nhân tố có phương sai tổng thể bằng nhau
- Độ biến thiên vốn theo thị trường có phân phối chuẩn

Đáp ứng phân phối chuẩn

health_df = investments_df[investments_df['market'] == 'Health and Wellness']
health_df['funding_total_usd'].plot(kind='hist')

Biểu đồ histogram với tổng vốn theo công ty trên trục x, tần suất trên trục y, một cột rất cao gần 0 và vài cột nhỏ hơn phía sau.

Biến đổi log và tính chuẩn

health_log = np.log(health_df['funding_total_usd'])

health_log.plot(kind='hist')

Biểu đồ histogram với tổng vốn theo công ty trên trục x, tần suất trên trục y, một cột rất cao gần 0 và vài cột nhỏ hơn phía sau.

Phương sai bằng nhau

investments_df['log_funding'] = np.log(investments_df['funding_total_usd'])

investments_df.groupby('market')['log_funding'].std()

Advertising            2.254390
Analytics              2.152852
Biotechnology          1.946059
...                    ...

Kiểm định Levene về phương sai bằng nhau

$H_0:$ Các tổng thể có phương sai bằng nhau

$H_a:$ Các tổng thể có phương sai khác nhau

Phương sai bằng nhau

from scipy import stats

health_df = investments_df[investments_df['market'] == 'Health and Wellness']
analytics_df = investments_df[investments_df['market'] == 'Analytics']


s, p_value = stats.levene(health_df['log_funding'],
                          analytics_df['log_funding'])

print(p_value < 0.05)

False

Kết luận: Không bác bỏ giả thuyết không. Thị trường có phương sai vốn huy động bằng nhau.

ANOVA trong SciPy

s, p_value = stats.f_oneway(health_df['log_funding'], 
                            analytics_df['log_funding'])

print(p_value < 0.05)

True

Kết luận: Hai thị trường có mức vốn huy động khác biệt có ý nghĩa thống kê.

Suy luận dựa trên ANOVA

$H_0:$ Mọi kỳ vọng bằng nhau
$H_a:$ Ít nhất một kỳ vọng khác
Không xác định kỳ vọng nào khác nếu không phân tích tiếp.

Hãy luyện tập!

Nền tảng Suy luận trong Python