Uniformità

Pulizia dei dati in R

Maggie Matsui

Content Developer @ DataCamp

Uniformità

Unità o formati diversi
- Temperatura: °C vs. °F
- Peso: kg vs. g vs. lb
- Valuta: USD $ vs. GBP £ vs. JPY ¥
- Data: DD-MM-YYYY vs. MM-DD-YYYY vs. YYYY-MM-DD

Da dove arrivano i problemi di uniformità?

A sinistra, tre database con frecce verso una tabella per rappresentare più fonti dati. A destra, una casella di testo libera con un cursore e un computer con tastiera per rappresentare errori di inserimento dati.

Individuare problemi di uniformità

head(nyc_temps)

         date temp
1  2019-04-01  4.2
2  2019-04-02  7.5
3  2019-04-03 12.2
4  2019-04-04 11.1
5  2019-04-05 41.5
6  2019-04-06 11.9

Individuare problemi di uniformità

library(ggplot2)
ggplot(nyc_temps, aes(x = date, y = temp)) +
  geom_point()

Grafico generato dal codice. Tre temperature risultano chiaramente molto più alte delle altre.

Cosa fare?

Non esiste un'unica scelta migliore. Dipende dal tuo insieme di dati!
Fai ricerca per capire l'origine dei dati

Grafico generato dal codice. Tre temperature risultano chiaramente molto più alte delle altre.

I dati del 7, 16 e 23 apr provengono da una fonte esterna che misurava in °F

Conversione di unità

$$\text{C} = (\text{F} - 32) \times \frac{5}{9}$$

ifelse(condition, value_if_true, value_if_false)

nyc_temps %>%
  mutate(temp_c = ifelse(temp > 50, (temp - 32) * 5 / 9, temp))

         date temp   temp_c
1  2019-04-01  4.2  4.20000
...
7  2019-04-07 58.5 14.72222
...

Conversione di unità

nyc_temps %>%
  mutate(temp_c = ifelse(temp > 50, (temp - 32) * 5 / 9, temp)) %>%
  ggplot(aes(x = date, y = temp_c)) +
    geom_point()

Grafico generato dal codice; questa volta non ci sono outlier evidenti perché sono stati convertiti.

Uniformità delle date

nyc_temps

             date temp_c
1      2019-11-23   5.12
2        01/15/19  -0.67
3  April 24, 2019  17.46
4        08/30/19  26.46
5 October 3, 2019  14.63
6      2019-03-17   3.47

Stringa data	Formato `Date`
`"2019-11-23"`	`"%Y-%m-%d"`
`"01/15/19"`	`"%m/%d/%y"`
`"April 24, 2019"`	`"%B %d, %Y"`

?strptime nella console R

Parsing di formati multipli

library(lubridate)
parse_date_time(nyc_temps$date,
                orders = c("%Y-%m-%d", "%m/%d/%y", "%B %d, %Y"))

"2019-11-23 UTC" "2019-01-15 UTC" "2019-04-24 UTC" "2019-08-30 UTC"
"2019-10-03 UTC" "2019-03-17 UTC"

parse_date_time("Monday, January 3",
                orders = c("%Y-%m-%d", "%m/%d/%y", "%B %d, %Y"))

NA

Date ambigue

02/04/2019 è febbraio o aprile?

Dipende dai tuoi dati!

Opzioni possibili:

Trattala come mancante
Se i dati provengono da più fonti, deduci in base alla fonte
Deduci in base ad altri dati nell'insieme

Esercitiamoci!

Pulizia dei dati in R