Recapitulare generală

Gestionarea datelor lipsă prin imputare în R

Michal Oleszak

Machine Learning Engineer

Studiu de caz: libertăți civile în Africa

head(africa)

  year      country gdp_pc  infl trade    civlib population
1 1972 Burkina Faso    377 -2.92 29.69 0.5000000    5848380
2 1973 Burkina Faso    376  7.60 31.31 0.5000000    5958700
3 1974 Burkina Faso    393  8.72 35.22 0.3333333    6075700
4 1975 Burkina Faso    416 18.76 40.11 0.3333333    6202000
5 1976 Burkina Faso    435 -8.40 37.76 0.5000000    6341030
6 1977 Burkina Faso    448 29.99 41.11 0.6666667    6486870

¹ Sursă de date: https://scholar.harvard.edu/rbates/data

Modelarea datelor incomplete

Obiectiv: investigarea relației dintre libertățile civile, civlib, și PIB-ul pe cap de locuitor, gdp_pc.

Vizualizați datele incomplete.
- Ce variabile lipsesc?
- Care ar putea fi mecanismele datelor lipsă?
Imputați datele lipsă și evaluați calitatea imputării.
Rulați un model pe datele imputate, ținând cont de incertitudinea imputării.

Ce veți utiliza

aggr()
spineMiss()
mice() - with() - pool()

Evaluarea calității imputării cu MICE

mice() generează mai multe seturi de date imputate.
Vizualizarea fiecăruia cu funcțiile din VIM poate fi anevoioasă.
Pachetul mice oferă propriile grafice, care gestionează automat mai multe seturi de date.

nhanes_multiimp <- mice(nhanes, m = 5, defaultMethod = "pmm")

stripplot(nhanes_multiimp, 
          Weight ~ Height | .imp,
          pch = 20, cex = 2)

Diagramă în benzi

O grilă cu șase diagrame de dispersie pentru Înălțime vs. Greutate. Fiecare diagramă evidențiază valorile imputate prin culoare. Valorile imputate sunt apropiate de cele observate, fiind aproape indistinguibile.

Hai să exersăm ce ați învățat!

Gestionarea datelor lipsă prin imputare în R