Saknade värden och imputering

Introduktion till Python i Power BI

Jacob H. Marquez

Data Scientist

Vad är saknade data?

Vanliga värden för "saknat":

  • null
  • NA
  • 99
  • ""
Introduktion till Python i Power BI

Vad är saknade data?

Vanliga värden för "saknat":

  • null
  • NA
  • 99
  • ""
entity year fished
Australia 1988 153148
Australia 1989 null
Australia 1990 567895
Australia 1991 632987
Australia 1992 643578
Australia 1993 null
Introduktion till Python i Power BI

Varför saknas data?

  • En deltagare glömde eller vägrade svara på en enkätfråga
  • En deltagare hoppade av den andra delen av en studie
  • Ett mätinstrument hade ett fel som påverkade mätningarna
  • Integritetslagar begränsar användningen av data
Introduktion till Python i Power BI

Saknas de slumpmässigt?

Slumpmässigt saknade

Tabell över nederbörd, i tum, för tre städer – Seattle, New York City och Paris.

Introduktion till Python i Power BI

Saknas de slumpmässigt?

Inte slumpmässigt saknade

Tabell över nederbörd, i tum, för tre städer – Seattle, New York City och Paris. En rad från Seattle saknas.

Introduktion till Python i Power BI

Saknas de slumpmässigt?

Inte slumpmässigt saknade

Tabell över nederbörd, i tum, för tre städer – Seattle, New York City och Paris. En rad från Seattle saknas.

  • Instrumentet kan inte detektera låga värden
  • Vissa grupper undviker att lämna ut information
Introduktion till Python i Power BI

Hur hanterar man saknade data?

Inte slumpmässigt saknade

  • Pausa analysen
  • Förstå orsakerna till de saknade värdena
  • Samla in mer data
  • Dokumentera tydligt begränsningar och antaganden

Slumpmässigt saknade

  • Ta bort observationerna
  • Lägg till en indikatorvariabel: 1 om saknat, annars 0
  • Imputering
Introduktion till Python i Power BI

Imputering

Definition: att ersätta ett saknat värde med ett annat.

Typer av imputering:

  • Medelvärde
  • Median
  • Typvärde
  • Föregående eller nästa värde

Fungerar bäst när högst 5 % av kolumnens data saknas.

Kom ihåg att sortera värdena!

Introduktion till Python i Power BI

Imputering – exempel

Slumpmässigt saknade

Tabell över nederbörd, i tum, för tre städer – Seattle, New York City och Paris – med saknade observationer.

Medianimputering

Tabell över nederbörd, i tum, för tre städer – Seattle, New York City och Paris. Saknade observationer ersatta med medianvärdet per stad.

Introduktion till Python i Power BI

Datamängd

Invoice StockCode Description Quantity InvoiceDate Price Customer ID
506303 PADS PADS TO MATCH ALL CUSHIONS 1 4/29/2010 10:43:00 AM 0.001 14249
496725 M Manual 1 2/3/2010 2:16:00 PM 1.5 13619
502660 M Manual 6 3/25/2010 5:18:00 PM 1.5 13187
509669 90214S LETTER "S" BLING KEY RING 10 12/13/2009 3:54:00 PM 1.25 16725
Introduktion till Python i Power BI

Nu kör vi en övning!

Introduktion till Python i Power BI

Preparing Video For Download...