Závěrečné poznámky

Práce s chybějícími daty pomocí imputace v R

Michal Oleszak

Machine Learning Engineer

Co víte

Kapitola 1: Problém chybějících dat:

  • Modelování neúplných dat vyžaduje zvláštní přístup.
  • 3 mechanismy chybějících dat: MCAR, MAR a MNAR.
  • Vizualizace a statistické testy odhalují vzory chybějících dat.

Kapitola 2: Imputace na základě dárců:

  • Imputace průměrem je zpravidla nevhodná.
  • Imputace metodou hot-deck.
  • Imputace metodou k nejbližších sousedů.
Práce s chybějícími daty pomocí imputace v R

Co víte

Kapitola 3: Modelová imputace

  • Iterace přes proměnné a jejich imputace až do konvergence.
  • Replikace variability dat výběrem z podmíněných rozdělení.
  • Imputace pomocí náhodných lesů.

Kapitola 4: Nejistota plynoucí z imputace

  • Vícenásobná imputace bootstrappingem.
  • Vícenásobná imputace metodou MICE.
Práce s chybějícími daty pomocí imputace v R

Jak zvolit metodu imputace?

Obecná doporučení:

  • Velká data nebo nutnost běhu v reálném čase v produkci?

    Použijte imputaci hot-deck.

  • Předpokládáte konkrétní vztahy mezi proměnnými na základě znalosti domény?

    Použijte modelovou imputaci.

  • Rychlost není kritická a vztahy mezi proměnnými nejsou zřejmé?

    Použijte imputaci kNN nebo pomocí stromů.

Práce s chybějícími daty pomocí imputace v R

Jak odhadnout nejistotu z imputace?

Obecná doporučení:

  • Je nutná relativně rychlá metoda?
  • Máte představu o vhodných modelech a jejich specifikaci?

Použijte MICE.

  • Chcete použít neparametrickou metodu (kNN, hot-deck)?
  • Nechcete se zabývat předpoklady konkrétních modelů?

Použijte bootstrapping.

Práce s chybějícími daty pomocí imputace v R

Další kroky

  • miceVignettes:

    • Pasivní imputace a post-processing
    • Imputace víceúrovňových dat
    • Analýza citlivosti

  • S. van Buuren (2018). Flexible Imputation of Missing Data. Second Edition. CRC/Chapman & Hall, FL: Boca Raton.

  • Další balíčky R: Amelia, mi

Obálka knihy „Flexible Imputation of Missing Data" od Stefa van Buurena.

Práce s chybějícími daty pomocí imputace v R

Gratulujeme a hodně štěstí!

Práce s chybějícími daty pomocí imputace v R

Preparing Video For Download...