Lỗi mô hình và tính ngẫu nhiên

Nhập môn Mô hình tuyến tính với Python

Jason Vestuto

Data Scientist

Các loại lỗi

  1. Lỗi đo lường
    • ví dụ: cảm biến hỏng, ghi sai số đo
  2. Thiên lệch chọn mẫu
    • ví dụ: chỉ lấy nhiệt độ tháng 8, khi nóng nhất
  3. Ngẫu nhiên
Nhập môn Mô hình tuyến tính với Python

Giả thuyết Không

Câu hỏi: Hiệu ứng do quan hệ thật hay do ngẫu nhiên?

Trả lời: kiểm tra Giả thuyết Không.

Nhập môn Mô hình tuyến tính với Python

Dữ liệu có thứ tự

Biểu đồ phân tán dữ liệu chuyến đi bộ đường dài, với trục quãng đường (dặm) theo thời lượng (giờ)

Nhập môn Mô hình tuyến tính với Python

Nhóm dữ liệu

Biểu đồ phân tán dữ liệu chuyến đi bộ đường dài, trục quãng đường (dặm) theo thời lượng (giờ), thời gian dưới 5 giờ tô đỏ, lớn hơn tô xanh

Nhập môn Mô hình tuyến tính với Python

Nhóm dữ liệu

Hai biểu đồ histogram gần dạng chuông, một màu đỏ cho chuyến ngắn, tâm gần 5 dặm, và một màu xanh cho chuyến dài, tâm gần 15 dặm

  • Nhóm thời lượng ngắn, trung bình = 5
  • Nhóm thời lượng dài, trung bình = 15
Nhập môn Mô hình tuyến tính với Python

Thống kê kiểm định

# Group into early and late times
group_short = sample_distances[times < 5]
group_long = sample_distances[times > 5]

# Resample distributions
resample_short = np.random.choice(group_short, size=500, replace=True)
resample_long = np.random.choice(group_long, size=500, replace=True)

# Test Statistic
test_statistic = resample_long - resample_short

# Effect size as mean of test statistic distribution
effect_size = np.mean(test_statistic)
Nhập môn Mô hình tuyến tính với Python

Xáo trộn và nhóm lại

Biểu đồ phân tán dữ liệu chuyến đi bộ đường dài, trục quãng đường (dặm) theo thời lượng (giờ), với điểm đỏ và xanh xen kẽ ở mọi khoảng thời lượng

Nhập môn Mô hình tuyến tính với Python

Xáo trộn và nhóm lại

Hai histogram gần như chồng khít, trải từ 0 đến 25 dặm, hình dạng tương tự nhau

Nhập môn Mô hình tuyến tính với Python

Xáo trộn và tách

# Concatenate and Shuffle
shuffle_bucket = np.concatenate((group_short, group_long))
np.random.shuffle(shuffle_bucket)

# Split in the middle
slice_index = len(shuffle_bucket)//2
shuffled_half1 = shuffle_bucket[0:slice_index]
shuffled_half2 = shuffle_bucket[slice_index+1:]
Nhập môn Mô hình tuyến tính với Python

Lấy mẫu lại và kiểm định tiếp

# Resample shuffled populations
shuffled_sample1 = np.random.choice(shuffled_half1, size=500, replace=True)
shuffled_sample2 = np.random.choice(shuffled_half2, size=500, replace=True)

# Recompute effect size
shuffled_test_statistic = shuffled_sample2 - shuffled_sample1
effect_size = np.mean(shuffled_test_statistic)
Nhập môn Mô hình tuyến tính với Python

Giá trị p

Trục số đếm bin theo các bin giá trị thống kê kiểm định, hai histogram: một màu xanh tâm tại x=0, độ phân tán rộng; một màu đỏ tâm tại x=10, hẹp hơn; và một đường dọc màu đen tại x=10

Nhập môn Mô hình tuyến tính với Python

Cùng luyện tập nào!

Nhập môn Mô hình tuyến tính với Python

Preparing Video For Download...