Vše dohromady

Práce s chybějícími daty pomocí imputace v R

Michal Oleszak

Machine Learning Engineer

Případová studie: občanské svobody v Africe

head(africa)

  year      country gdp_pc  infl trade    civlib population
1 1972 Burkina Faso    377 -2.92 29.69 0.5000000    5848380
2 1973 Burkina Faso    376  7.60 31.31 0.5000000    5958700
3 1974 Burkina Faso    393  8.72 35.22 0.3333333    6075700
4 1975 Burkina Faso    416 18.76 40.11 0.3333333    6202000
5 1976 Burkina Faso    435 -8.40 37.76 0.5000000    6341030
6 1977 Burkina Faso    448 29.99 41.11 0.6666667    6486870

¹ Zdroj dat: https://scholar.harvard.edu/rbates/data

Modelování neúplných dat

Cíl: zkoumat vztah mezi občanskými svobodami, civlib, a HDP na obyvatele, gdp_pc.

Vizualizace neúplných dat.
- Které proměnné chybí?
- Jaké mohou být mechanismy chybějících dat?
Imputace chybějících dat a posouzení kvality imputace.
Spuštění modelu na imputovaných datech s ohledem na nejistotu imputace.

Co budete potřebovat

aggr()
spineMiss()
mice() - with() - pool()

Posouzení kvality imputace pomocí MICE

mice() vytváří více imputovaných datových sad.
Vizualizace každé z nich pomocí funkcí VIM může být zdlouhavá.
Balíček mice nabízí vlastní grafy, které automaticky zpracovávají více datových sad.

nhanes_multiimp <- mice(nhanes, m = 5, defaultMethod = "pmm")

stripplot(nhanes_multiimp, 
          Weight ~ Height | .imp,
          pch = 20, cex = 2)

Strip plot

Mřížka šesti bodových grafů výšky vs. hmotnosti. Každý graf zvýrazňuje imputované hodnoty barevně. Imputované hodnoty jsou blízko pozorovaným hodnotám a liší se pouze barvou.

Pojďme si procvičit, co jste se naučili!

Práce s chybějícími daty pomocí imputace v R