Avslutande kommentarer

Hantering av saknade värden med imputering i R

Michal Oleszak

Machine Learning Engineer

Vad du vet

Kapitel 1: Problemet med saknade data:

  • Ofullständiga data kräver särskild hantering.
  • De 3 mekanismerna för saknade data: MCAR, MAR och MNAR.
  • Visualiseringar och statistiska tester ger insikt om mönster i saknade data.

Kapitel 2: Donatorsbaserad imputering:

  • Medelvärdesimputering är oftast ett dåligt val.
  • Hot-deck-imputering.
  • k-Nearest-Neighbors-imputering.
Hantering av saknade värden med imputering i R

Vad du vet

Kapitel 3: Modellbaserad imputering

  • Iterera över variabler och imputera tills konvergens nås.
  • Återskapa datavariabilitet genom att dra från betingade fördelningar.
  • Trädbaserad imputering med slumpskogar.

Kapitel 4: Osäkerhet från imputering

  • Multipel imputering med bootstrapping.
  • Multipel imputering med MICE.
Hantering av saknade värden med imputering i R

Vilken imputeringsmetod bör du välja?

Några riktlinjer:

  • Stora datamängder eller krav på realtidskörning i produktion?

    Använd hot-deck-imputering.

  • Misstänker specifika samband mellan variabler utifrån domänkunskap?

    Använd modellbaserad imputering.

  • Hastighet är inte avgörande och sambanden mellan variabler är inte uppenbara?

    Använd kNN- eller trädbaserad imputering.

Hantering av saknade värden med imputering i R

Hur skattar du osäkerhet från imputering?

Några riktlinjer:

  • Behöver vara relativt snabb?
  • Har du idéer om vilka modeller som ska användas och hur de ska specificeras?

Använd MICE.

  • Vill du använda en icke-parametrisk metod (kNN, hot-deck)?
  • Vill du slippa anta något om specifika modeller?

Använd bootstrapping.

Hantering av saknade värden med imputering i R

Nästa steg

  • miceVignettes:

    • Passiv imputering och efterbearbetning
    • Imputering av flernivådata
    • Känslighetsanalys

  • S. van Buuren (2018). Flexible Imputation of Missing Data. Second Edition. CRC/Chapman & Hall, FL: Boca Raton.

  • Andra R-paket: Amelia, mi

Omslaget till boken "Flexible Imputation of Missing Data" av Stef van Buuren.

Hantering av saknade värden med imputering i R

Grattis och lycka till!

Hantering av saknade värden med imputering i R

Preparing Video For Download...