Uwagi końcowe

Obsługa brakujących danych z imputacją w R

Michal Oleszak

Machine Learning Engineer

Co już wiesz

Rozdział 1: Problem brakujących danych:

  • Modelowanie niekompletnych danych wymaga specjalnego podejścia.
  • 3 mechanizmy brakujących danych: MCAR, MAR i MNAR.
  • Wizualizacje i testy statystyczne ujawniają wzorce brakujących danych.

Rozdział 2: Imputacja oparta na dawcach:

  • Imputacja średnią jest zazwyczaj złym wyborem.
  • Imputacja hot-deck.
  • Imputacja k-najbliższych sąsiadów.
Obsługa brakujących danych z imputacją w R

Co już wiesz

Rozdział 3: Imputacja oparta na modelach

  • Iterowanie po zmiennych i imputacja do zbieżności.
  • Odwzorowywanie zmienności danych przez losowanie z rozkładów warunkowych.
  • Imputacja drzewowa z użyciem lasów losowych.

Rozdział 4: Niepewność wynikająca z imputacji

  • Wielokrotna imputacja przez bootstrap.
  • Wielokrotna imputacja z MICE.
Obsługa brakujących danych z imputacją w R

Który metoda imputacji wybrać?

Ogólne wskazówki:

  • Duże dane lub przetwarzanie w czasie rzeczywistym?

    Użyj imputacji hot-deck.

  • Podejrzewasz specyficzne relacje między zmiennymi na podstawie wiedzy dziedzinowej?

    Użyj imputacji opartej na modelach.

  • Szybkość nie jest kluczowa, a relacje między zmiennymi nie są oczywiste?

    Użyj imputacji kNN lub drzewowej.

Obsługa brakujących danych z imputacją w R

Jak szacować niepewność z imputacji?

Ogólne wskazówki:

  • Metoda musi być stosunkowo szybka?
  • Masz pomysły co do modeli i ich specyfikacji?

Użyj MICE.

  • Chcesz zastosować metodę nieparametryczną (kNN, hot-deck)?
  • Nie chcesz martwić się założeniami konkretnych modeli?

Użyj bootstrappingu.

Obsługa brakujących danych z imputacją w R

Kolejne kroki

  • miceVignettes:

    • Imputacja pasywna i post-processing
    • Imputacja danych wielopoziomowych
    • Analiza wrażliwości

  • S. van Buuren (2018). Flexible Imputation of Missing Data. Second Edition. CRC/Chapman & Hall, FL: Boca Raton.

  • Inne pakiety R: Amelia, mi

Okładka książki „Flexible Imputation of Missing Data" autorstwa Stefa van Buurena.

Obsługa brakujących danych z imputacją w R

Gratulacje i powodzenia!

Obsługa brakujących danych z imputacją w R

Preparing Video For Download...