Chybějící data a imputace

Úvod do Pythonu v Power BI

Jacob H. Marquez

Data Scientist

Co jsou chybějící data?

Běžné hodnoty pro „chybějící":

  • null
  • NA
  • 99
  • ""
Úvod do Pythonu v Power BI

Co jsou chybějící data?

Běžné hodnoty pro „chybějící":

  • null
  • NA
  • 99
  • ""
entity year fished
Australia 1988 153148
Australia 1989 null
Australia 1990 567895
Australia 1991 632987
Australia 1992 643578
Australia 1993 null
Úvod do Pythonu v Power BI

Proč data chybí?

  • Účastník zapomněl nebo odmítl odpovědět na otázku v dotazníku
  • Účastník nedokončil druhou část studie
  • Došlo k závadě přístroje používaného pro měření
  • Zákony o ochraně soukromí omezují použití dat
Úvod do Pythonu v Power BI

Chybí náhodně?

Chybí náhodně

Tabulka srážek v palcích pro tři města – Seattle, New York a Paříž.

Úvod do Pythonu v Power BI

Chybí náhodně?

Nechybí náhodně

Tabulka srážek v palcích pro tři města – Seattle, New York a Paříž. Jeden řádek ze Seattlu chybí.

Úvod do Pythonu v Power BI

Chybí náhodně?

Nechybí náhodně

Tabulka srážek v palcích pro tři města – Seattle, New York a Paříž. Jeden řádek ze Seattlu chybí.

  • Přístroj nedokáže detekovat nízké hodnoty
  • Určité skupiny osob pravděpodobně nebudou informace sdílet
Úvod do Pythonu v Power BI

Jak řešit chybějící data?

Nechybí náhodně

  • Pozastavit analýzu
  • Pochopit důvody chybějících dat
  • Získat více dat
  • Jasně zdokumentovat omezení a předpoklady

Chybí náhodně

  • Odstranit pozorování
  • Přidat indikátorovou proměnnou: chybí = 1, nechybí = 0
  • Imputace
Úvod do Pythonu v Power BI

Imputace

Definice: nahrazení chybějící hodnoty jinou.

Typy imputace:

  • Průměr
  • Medián
  • Modus
  • Předchozí nebo následující hodnota

Nejvhodnější, pokud chybí nejvýše 5 % dat ve sloupci.

Nezapomeňte hodnoty seřadit!

Úvod do Pythonu v Power BI

Imputace – příklad

Chybí náhodně

Tabulka srážek v palcích pro tři města – Seattle, New York a Paříž – s chybějícími pozorováními.

Imputace mediánem

Tabulka srážek v palcích pro tři města – Seattle, New York a Paříž. Chybějící hodnoty doplněny mediánem daného města.

Úvod do Pythonu v Power BI

Datová sada

Invoice StockCode Description Quantity InvoiceDate Price Customer ID
506303 PADS PADS TO MATCH ALL CUSHIONS 1 4/29/2010 10:43:00 AM 0.001 14249
496725 M Manual 1 2/3/2010 2:16:00 PM 1.5 13619
502660 M Manual 6 3/25/2010 5:18:00 PM 1.5 13187
509669 90214S LETTER "S" BLING KEY RING 10 12/13/2009 3:54:00 PM 1.25 16725
Úvod do Pythonu v Power BI

Lass uns üben!

Úvod do Pythonu v Power BI

Preparing Video For Download...