Visualisera mönster i saknade värden

Hantering av saknade värden med imputering i R

Michal Oleszak

Machine Learning Engineer

Problem med testbaserade metoder

Att upptäcka mönster i saknade data med statistiska tester kan vara omständligt.
t-testet bygger på många antaganden om datan.
Slutsatser baserade på p-värden är problematiska (val av signifikansnivå, p-hacking).

Visualisera saknade data

Ett annat angreppssätt: visualiseringar!
Enkla att använda.
Kan avslöja mönster i saknade data.
Ger insikter om andra aspekter av datakvalitet.

Paketet VIM innehåller bra verktyg för att visualisera saknade data. I den här lektionen:

Aggregationsplot
Spine-plot
Mosaikplot

Aggregationsplot

nhanes %>% aggr(combined = TRUE, numbers = TRUE)

Ett aggregationsdiagram bestående av ett rutnät som visar alla kombinationer av saknade och observerade värden för de olika variablerna i biopics-datamängden. För varje kombination visas andelen observationer med motsvarande mönster för saknade värden.

Spine-plot

nhanes %>% select(Gender, TotChol) %>% spineMiss()

Spine-plotten består av två staplar för män respektive kvinnor. I varje stapel visas andelen saknade värden i variabeln för totalkolesterol för respektive kön.

Mosaikplot

nhanes %>% mosaicMiss(highlight = "TotChol", plotvars = c("Gender", "PhysActive"))

En mosaikplot bestående av ett antal rutor som tillsammans bildar en rektangel. Varje ruta motsvarar ett värde i "Gender" och ett värde i "PhysActive". I varje ruta visas andelen saknade värden i variabeln för totalkolesterol.

Nu kör vi en övning!

Hantering av saknade värden med imputering i R