मॉडल त्रुटियाँ और रैंडमनेस

Python में Linear Modeling परिचय

Jason Vestuto

Data Scientist

त्रुटियों के प्रकार

मापन त्रुटि
- उदा.: खराब सेंसर, गलत दर्ज माप
सैंपलिंग बायस
- उदा.: केवल अगस्त के तापमान, जब दिन सबसे गर्म होते हैं
रैंडम मौका

Null Hypothesis

प्रश्न: क्या हमारा प्रभाव किसी रिलेशनशिप के कारण है या सिर्फ रैंडम मौके से?

उत्तर: Null Hypothesis जाँचें।

क्रमबद्ध डेटा

हाइकिंग ट्रिप डेटा का स्कैटर प्लॉट: x-अक्ष पर मील में दूरी और y-अक्ष पर घंटों में अवधि

डेटा को समूहित करना

हाइकिंग ट्रिप डेटा का स्कैटर प्लॉट: 5 घंटे से कम समय लाल में, अधिक समय नीले में

डेटा को समूहित करना

दो हिस्टोग्राम, दोनों लगभग घंटी-आकृति: छोटा समय समूह लाल में 5 मील के पास केंद्रित, लंबा समय समूह नीले में 15 मील के पास

Short Duration Group, mean = 5
Long Duration Group, mean = 15

टेस्ट स्टैटिस्टिक

# Group into early and late times
group_short = sample_distances[times < 5]
group_long = sample_distances[times > 5]

# Resample distributions
resample_short = np.random.choice(group_short, size=500, replace=True)
resample_long = np.random.choice(group_long, size=500, replace=True)

# Test Statistic
test_statistic = resample_long - resample_short

# Effect size as mean of test statistic distribution
effect_size = np.mean(test_statistic)

शफल और पुनर्गठन

हाइकिंग ट्रिप डेटा का स्कैटर प्लॉट: सभी अवधियों में लाल और नीले बिंदु आपस में मिले-जुले दिखते हैं

शफलिंग और पुनर्गठन

2 ओवरलैप होते हिस्टोग्राम, 0 से 25 मील तक, आकार लगभग समान

शफल और स्प्लिट

# Concatenate and Shuffle
shuffle_bucket = np.concatenate((group_short, group_long))
np.random.shuffle(shuffle_bucket)

# Split in the middle
slice_index = len(shuffle_bucket)//2
shuffled_half1 = shuffle_bucket[0:slice_index]
shuffled_half2 = shuffle_bucket[slice_index+1:]

फिर से रिसैंपल करें और टेस्ट करें

# Resample shuffled populations
shuffled_sample1 = np.random.choice(shuffled_half1, size=500, replace=True)
shuffled_sample2 = np.random.choice(shuffled_half2, size=500, replace=True)

# Recompute effect size
shuffled_test_statistic = shuffled_sample2 - shuffled_sample1
effect_size = np.mean(shuffled_test_statistic)

p-Value

बिन काउंट बनाम टेस्ट स्टैटिस्टिक बिन्स: दो हिस्टोग्राम — नीला x=0 पर चौड़ा, लाल x=10 पर संकरा; x=10 पर वर्टिकल काली रेखा

अभ्यास करते हैं!

Python में Linear Modeling परिचय