Observații finale

Gestionarea datelor lipsă prin imputare în R

Michal Oleszak

Machine Learning Engineer

Ce știți

Capitolul 1: Problema datelor lipsă:

  • Modelarea datelor incomplete necesită o tratare specială.
  • Cele 3 mecanisme: MCAR, MAR și MNAR.
  • Vizualizările și testele statistice oferă informații despre tiparele datelor lipsă.

Capitolul 2: Imputarea bazată pe donatori:

  • Imputarea prin medie este de obicei o alegere slabă.
  • Imputarea hot-deck.
  • Imputarea k-Nearest-Neighbors.
Gestionarea datelor lipsă prin imputare în R

Ce știți

Capitolul 3: Imputarea bazată pe modele

  • Iterarea peste variabile și imputarea lor până la convergență.
  • Replicarea variabilității datelor prin eșantionare din distribuții condiționale.
  • Imputarea bazată pe arbori folosind păduri aleatoare.

Capitolul 4: Incertitudinea din imputare

  • Imputare multiplă prin bootstrapping.
  • Imputare multiplă cu MICE.
Gestionarea datelor lipsă prin imputare în R

Ce metodă de imputare să alegeți?

Câteva orientări generale:

  • Date foarte mari sau execuție în timp real în producție?

    Utilizați imputarea hot-deck.

  • Suspectați relații specifice între variabile pe baza cunoștințelor de domeniu?

    Utilizați imputarea bazată pe modele.

  • Nu este nevoie de viteză mare și relațiile dintre variabile nu sunt evidente?

    Utilizați imputarea kNN sau bazată pe arbori.

Gestionarea datelor lipsă prin imputare în R

Cum să estimați incertitudinea din imputare?

Câteva orientări generale:

  • Trebuie să fie relativ rapid?
  • Aveți idei despre modelele de utilizat și cum să le specificați?

Utilizați MICE.

  • Doriți să utilizați o metodă neparametrică (kNN, hot-deck)?
  • Nu doriți să vă preocupați de ipotezele modelelor specifice?

Utilizați bootstrapping.

Gestionarea datelor lipsă prin imputare în R

Pași următori

  • miceVignettes:

    • Imputare pasivă și post-procesare
    • Imputarea datelor multi-nivel
    • Analiza de sensibilitate

  • S. van Buuren (2018). Flexible Imputation of Missing Data. Second Edition. CRC/Chapman & Hall, FL: Boca Raton.

  • Alte pachete R: Amelia, mi

Coperta cărții „Flexible Imputation of Missing Data" de Stef van Buuren.

Gestionarea datelor lipsă prin imputare în R

Felicitări și mult succes!

Gestionarea datelor lipsă prin imputare în R

Preparing Video For Download...