Completeness

R में डेटा क्लीनिंग

Maggie Matsui

Content Developer @ DataCamp

Missing data क्या है?

एक पूरी हुई पहेली जिसमें एक टुकड़ा गायब है. विवरण: जब किसी ऑब्ज़र्वेशन में किसी वैरिएबल का मान संग्रहीत नहीं होता.

NA, nan, 0, 99, . ... के रूप में दिख सकता है

Missing data क्या है?

NA, nan, 0, 99, . ... के रूप में दिख सकता है

टेक्निकल त्रुटियों को दर्शाता एक रोबोट.

Missing data क्या है?

NA, nan, 0, 99, . ... के रूप में दिख सकता है

मानवीय त्रुटि को दर्शाता एक व्यक्ति.

Air quality

head(airquality)

   Ozone Solar.R Wind Temp Month Day
1     41     190  7.4   67     5   1
2     36     118  8.0   72     5   2
3     12     149 12.6   74     5   3
4     18     313 11.5   62     5   4
5     NA      NA 14.3   56     5   5
6     28      NA 14.9   66     5   6

Air quality

head(airquality)

   Ozone Solar.R Wind Temp Month Day
1     41     190  7.4   67     5   1
2     36     118  8.0   72     5   2
3     12     149 12.6   74     5   3
4     18     313 11.5   62     5   4
5     NA      NA 14.3   56     5   5
6     28      NA 14.9   66     5   6

Missing values ढूँढना

is.na(airquality)

     Ozone Solar.R  Wind  Temp Month   Day
[1,] FALSE   FALSE FALSE FALSE FALSE FALSE
[2,] FALSE   FALSE FALSE FALSE FALSE FALSE
[3,] FALSE   FALSE FALSE FALSE FALSE FALSE
[4,] FALSE   FALSE FALSE FALSE FALSE FALSE
[5,]  TRUE    TRUE FALSE FALSE FALSE FALSE
[6,] FALSE    TRUE FALSE FALSE FALSE FALSE

Missing values गिनना

# Count missing vals in entire dataset
sum(is.na(airquality))

Missing values का विज़ुअलाइज़ेशन

library(visdat)
vis_miss(airquality)

कोड से बनी विज़ुअलाइज़ेशन. सबसे बाएँ कॉलम में सबसे अधिक काली लाइनें हैं, दूसरे में उससे कम. बाकी कॉलम में काली लाइनें नहीं हैं.

Missingness जाँचना

airquality %>%
  mutate(miss_ozone = is.na(Ozone)) %>%

  group_by(miss_ozone) %>%
  summarize(across(everything(), median, na.rm = TRUE))

  miss_ozone Ozone Solar.R  Wind  Temp Month   Day
  <lgl>      <dbl>   <int> <dbl> <dbl> <dbl> <dbl>
1 FALSE       31.5     207   9.7    65     7    16
2 TRUE        NA       194   9.7    99     6    15

Missingness जाँचना

airquality %>%
  arrange(Temp) %>%
  vis_miss()

पहले जैसी ही विज़ुअलाइज़ेशन, लेकिन Ozone वाले बाएँ कॉलम में सभी missing मान नीचे की ओर हैं.

Missing data के प्रकार

बाएँ: छह-पहलू पासा, Missing Completely at Random को दर्शाता है. बीच: हर फेस पर एक ही डॉट वाला पासा, Missing at Random. दाएँ: परस्पर इशारा करते चार वर्ग, Missing Not at Random.

Missing data के प्रकार

Missing completely at random: missing data और अन्य मानों में कोई व्यवस्थित संबंध नहीं. उदाहरण: डेटा दर्ज करते समय एंट्री त्रुटियाँ.

Missing data के प्रकार

Missing at random: missing data और देखे गए अन्य मानों में व्यवस्थित संबंध. उदाहरण: उच्च तापमान पर Ozone डेटा गायब.

Missingness के प्रकार

Missing not at random: missing data और अनदेखे मानों में व्यवस्थित संबंध. उदाहरण: उच्च तापमान पर तापमान मान गायब.

Missing data से निपटना

सरल तरीके:

Missing डेटा ड्रॉप करें
सांख्यिकीय माप (mean, median, mode..) या डोमेन ज्ञान से इम्प्यूट करें

उन्नत तरीके:

एल्गोरिदमिक अप्रोच से इम्प्यूट करें
Machine Learning मॉडल से इम्प्यूट करें

और जानें: Dealing with Missing Data in R

Missing values ड्रॉप करना

airquality %>%
  filter(!is.na(Ozone), !is.na(Solar.R))

   Ozone Solar.R  Wind  Temp Month   Day
   <int>   <int> <dbl> <int> <int> <int>
 1    41     190   7.4    67     5     1
 2    36     118     8    72     5     2
 3    12     149  12.6    74     5     3
 4    18     313  11.5    62     5     4
 5    23     299   8.6    65     5     7
 6    19      99  13.8    59     5     8

Missing values बदलना

airquality %>%
  mutate(ozone_filled = ifelse(is.na(Ozone), mean(Ozone, na.rm = TRUE), Ozone))

   Ozone Solar.R  Wind  Temp Month   Day ozone_filled
   <int>   <int> <dbl> <int> <int> <int>        <dbl>
 1    41     190   7.4    67     5     1         41  
 2    36     118   8      72     5     2         36  
 3    12     149  12.6    74     5     3         12  
 4    18     313  11.5    62     5     4         18  
 5    NA      NA  14.3    56     5     5         42.1

अभ्यास करते हैं!

R में डेटा क्लीनिंग