Model Hataları ve Rastlantısallık

Python ile Doğrusal Modellemenin Temelleri

Jason Vestuto

Data Scientist

Hata Türleri

Ölçüm hatası
- örn.: bozuk sensör, yanlış kaydedilen ölçümler
Örnekleme yanlılığı
- örn.: yalnızca günlerin en sıcak olduğu Ağustos sıcaklıkları
Rastgele şans

Null Hipotez

Soru: Etkimiz bir ilişkiden mi kaynaklanıyor, yoksa rastgele şanstan mı?

Yanıt: Null Hipotezi kontrol et.

Sıralı Veriler

Mil cinsinden gidilen mesafe ve saat cinsinden süre eksenlerinde çizilmiş yürüyüş verilerinin saçılım grafiği

Verileri Gruplama

Mil cinsinden gidilen mesafe ve saat cinsinden süre eksenlerinde çizilmiş yürüyüş verilerinin saçılım grafiği; 5 saatten kısa süreler kırmızı, daha uzun olanlar mavi gösterilmiş

Verileri Gruplama

İkisi de yaklaşık çan eğrisi şeklinde iki histogram: kısa süreli geziler için kırmızı, ortalaması 5 mil; uzun süreli geziler için mavi, ortalaması 15 mil

Kısa Süre Grubu, ort. = 5
Uzun Süre Grubu, ort. = 15

Test İstatistiği

# Erken ve geç zamanlara göre grupla
group_short = sample_distances[times < 5]
group_long = sample_distances[times > 5]

# Dağılımları yeniden örnekle
resample_short = np.random.choice(group_short, size=500, replace=True)
resample_long = np.random.choice(group_long, size=500, replace=True)

# Test istatistiği
test_statistic = resample_long - resample_short

# Etki büyüklüğü: test istatistiği dağılımının ortalaması
effect_size = np.mean(test_statistic)

Karıştır ve Yeniden Grupla

Mil cinsinden mesafe ve saat cinsinden süre eksenlerinde saçılım grafiği; tüm sürelerde kırmızı ve mavi noktalar karışık halde

Karıştırma ve Yeniden Gruplama

Biri diğerini neredeyse tamamen örten, 0–25 mil aralığına yayılan benzer şekilli 2 histogram

Karıştır ve Böl

# Birleştir ve karıştır
shuffle_bucket = np.concatenate((group_short, group_long))
np.random.shuffle(shuffle_bucket)

# Ortadan böl
slice_index = len(shuffle_bucket)//2
shuffled_half1 = shuffle_bucket[0:slice_index]
shuffled_half2 = shuffle_bucket[slice_index+1:]

Yeniden Örnekle ve Tekrar Test Et

# Karıştırılmış popülasyonları yeniden örnekle
shuffled_sample1 = np.random.choice(shuffled_half1, size=500, replace=True)
shuffled_sample2 = np.random.choice(shuffled_half2, size=500, replace=True)

# Etki büyüklüğünü yeniden hesapla
shuffled_test_statistic = shuffled_sample2 - shuffled_sample1
effect_size = np.mean(shuffled_test_statistic)

p-Değeri

Bin sayıları ve test istatistiği değer aralıklarında çizilmiş iki histogram: mavi olan x=0 çevresinde geniş yayılımlı, kırmızı olan x=10 çevresinde daha dar; x=10'da dikey siyah çizgi

Hadi pratik yapalım!

Python ile Doğrusal Modellemenin Temelleri