क्या डेटा यादृच्छिक रूप से गायब हैं?

R में Scalable Data Processing

Michael Kane

Assistant Professor, Yale University

R में Scalable Data Processing

गायब डेटा के प्रकार

  • Missing Completely at Random (MCAR)
  • Missing at Random (MAR)
  • Missing Not at Random (MNAR)
R में Scalable Data Processing

MCAR

Missing Completely at Random

  • यह बताने का कोई तरीका नहीं कि कौन से मान गायब होंगे
  • Missing data को हटा सकते हैं
R में Scalable Data Processing

MAR

Missing at Random

  • Missingness डेटासेट के वैरिएबल्स पर निर्भर है
  • Missing मानों का अनुमान लगाने के लिए multiple imputation का उपयोग करें
R में Scalable Data Processing

MNAR

Missing Not at Random

  • न MCAR, न MAR
  • वैरिएबल्स के बीच नियतात्मक संबंध
R में Scalable Data Processing

इस कोर्स में missing data से निपटना

  • Missingness का पूरा उपचार इस कोर्स के दायरे से बाहर है

  • हम जाँचेंगे कि डेटा MCAR होना संभव है या नहीं, और फिर missing मान हटा देंगे

R में Scalable Data Processing

MAR के लिए एक त्वरित जाँच

  • किसी कॉलम को recode करें: डेटा missing हो तो one, अन्यथा zero
  • उस पर अन्य वैरिएबल्स को logistic regression से regress करें
  • Significant p-value MAR दर्शाती है
  • Missingness वाले अन्य कॉलम्स के लिए दोहराएँ
  • कुछ p-values संयोग से significant हो सकते हैं, इसलिए regressions की संख्या के आधार पर significance cutoff समायोजित करें
R में Scalable Data Processing

MAR त्वरित जाँच उदाहरण

# Our dependent variable
is_missing <- rbinom(1000, 1, 0.5)

# Our independent variables data_matrix <- matrix(rnorm(1000*10), nrow = 1000, ncol = 10) # A vector of p-values we'll fill in p_vals <- rep(NA, ncol(data_matrix))
R में Scalable Data Processing

MAR त्वरित जाँच उदाहरण

# Perform logistic regression
for (j in 1:ncol(data_matrix)) {
 s <- summary(glm(is_missing ~ data_matrix[, j]), 
              family = binomial)
              p_vals[j] <- s$coefficients[2, 4]
 }

# Show the p-values p_vals
0.5930082 0.7822695 0.7560343 0.3689330 0.8757048 
0.8812320 0.8281008 0.4888898 0.4781299 0.5655739
R में Scalable Data Processing

अभ्यास करते हैं!

R में Scalable Data Processing

Preparing Video For Download...