Veriler rastgele mi eksik?

R'de Ölçeklenebilir Veri İşleme

Michael Kane

Assistant Professor, Yale University

Eksik Veri Türleri

Tamamen Rastgele Eksik (MCAR)
Rastgele Eksik (MAR)
Rastgele Olmayan Eksik (MNAR)

MCAR

Tamamen Rastgele Eksik

Hangi değerlerin eksik olduğunu kestirmenin yolu yoktur
Eksik verileri düşürebilirsin

MAR

Rastgele Eksik

Eksiklik, veri kümesindeki değişkenlere bağlıdır
Eksik değerleri tahmin etmek için çoklu atama kullan

MNAR

Rastgele Olmayan Eksik

MCAR veya MAR değildir
Değişkenler arasında deterministik ilişki vardır

Bu kursta eksik verilerle başa çıkma

Eksiklik konusunun tam kapsamı bu kursun dışında
Verilerin MCAR olması makul mü diye kontrol edeceğiz ve eksik değerleri düşeceğiz

MAR için Hızlı Kontrol

Bir sütunu, veri eksikse bir, değilse sıfır olacak şekilde yeniden kodla
Diğer değişkenleri buna lojistik regresyonla bağla
Anlamlı p-değeri MAR'a işaret eder
Eksikliği olan diğer sütunlar için tekrarla
Bazı p-değerleri şans eseri anlamlı olabilir; regresyon sayısına göre anlamlılık eşiğini ayarla

MAR Hızlı Kontrol Örneği

# Bağımlı değişkenimiz
is_missing <- rbinom(1000, 1, 0.5)

# Bağımsız değişkenlerimiz
data_matrix <- matrix(rnorm(1000*10), nrow = 1000, 
                      ncol = 10)

# Dolduracağımız p-değerleri vektörü
p_vals <- rep(NA, ncol(data_matrix))

MAR Hızlı Kontrol Örneği

# Lojistik regresyonu gerçekleştir
for (j in 1:ncol(data_matrix)) {
 s <- summary(glm(is_missing ~ data_matrix[, j]), 
              family = binomial)
              p_vals[j] <- s$coefficients[2, 4]
 }

# p-değerlerini göster
p_vals

0.5930082 0.7822695 0.7560343 0.3689330 0.8757048 
0.8812320 0.8281008 0.4888898 0.4781299 0.5655739

Hadi pratik yapalım!

R'de Ölçeklenebilir Veri İşleme

Preparing Video For Download...