Validación entre campos

Limpieza de datos en R

Maggie Matsui

Content Developer @ DataCamp

¿Qué es la validación entre campos?

La validación entre campos es un control de coherencia
¿Este valor tiene sentido según otros valores?

Una captura de un canal de noticias. Resultados de una encuesta: «Should Scotland be independent?». Sí tiene el 52 % de las respuestas, No el 58 %.

¹ https://www.buzzfeednews.com/article/katienotopoulos/graphs-that-lied-to-us

Datos de tarjetas de crédito

head(credit_cards)

  date_opened dining_cb groceries_cb  gas_cb total_cb acct_age
1  2018-07-05     26.08        83.43   78.90   188.41        1
2  2016-01-23   1309.33         4.46 1072.25  2386.04        4
3  2016-03-25    205.84       119.20  800.62  1125.66        4
4  2018-06-20     14.00        16.37   18.41    48.78        1
5  2017-02-08     98.50       283.68  281.70   788.33        3
6  2014-11-18    889.28      2626.34 2973.62  6489.24        5

Validar números

credit_cards %>% 
  select(dining_cb:total_cb)

   dining_cb groceries_cb  gas_cb total_cb
1      26.08        83.43   78.90   188.41
2    1309.33         4.46 1072.25  2386.04
3     205.84       119.20  800.62  1125.66
4      14.00        16.37   18.41    48.78
5      98.50       283.68  281.70   788.33
6     889.28      2626.34 2973.62  6489.24

Validar números

credit_cards %>%

  mutate(theoretical_total = dining_cb + groceries_cb + gas_cb) %>%

  filter(theoretical_total != total_cb) %>%
  select(dining_cb:theoretical_total)

  dining_cb groceries_cb  gas_cb total_cb theoretical_total
1     98.50       283.68  281.70   788.33            663.88
2   3387.53       363.85 2706.42  4502.94           6457.80

Validar fecha y antigüedad

credit_cards %>%
  select(date_opened, acct_age)

   date_opened acct_age
1   2018-07-05        1
2   2016-01-23        4
3   2016-03-25        4
4   2018-06-20        1
5   2017-02-08        3
6   2014-11-18        5

Calcular la antigüedad

library(lubridate)
date_difference <- as.Date("2015-09-04") %--% today()
date_difference

2015-09-04 UTC--2020-03-09 UTC

as.numeric(date_difference, "years")

4.511978

floor(as.numeric(date_difference, "years"))

Validar antigüedad

credit_cards %>%
  mutate(theor_age = floor(as.numeric(date_opened %--% today(), "years"))) %>%
  filter(theor_age != acct_age)

  date_opened acct_age dining_cb groceries_cb  gas_cb total_cb theor_age
1  2016-03-25        4    814.34       471.58 3167.41  4453.33         3
2  2018-03-06        3    238.48       186.05  213.84   638.37         2

¿Y ahora qué?

A la izquierda, un cubo de basura que representa eliminar datos. En el centro, un signo de interrogación que representa establecer como ausente e imputar. A la derecha, unos cuadrados unidos por líneas con marcas de verificación y equis que representan aplicar reglas basadas en conocimiento del dominio.

¡Vamos a practicar!

Limpieza de datos en R