Brakujące dane i imputacja

Wprowadzenie do Pythona w Power BI

Jacob H. Marquez

Data Scientist

Czym są brakujące dane?

Typowe wartości oznaczające "brak":

  • null
  • NA
  • 99
  • ""
Wprowadzenie do Pythona w Power BI

Czym są brakujące dane?

Typowe wartości oznaczające "brak":

  • null
  • NA
  • 99
  • ""
entity year fished
Australia 1988 153148
Australia 1989 null
Australia 1990 567895
Australia 1991 632987
Australia 1992 643578
Australia 1993 null
Wprowadzenie do Pythona w Power BI

Dlaczego brakuje danych?

  • Uczestnik zapomniał lub odmówił odpowiedzi na pytanie w ankiecie
  • Uczestnik zrezygnował z udziału w drugiej części badania
  • Wystąpił błąd w urządzeniu pomiarowym
  • Przepisy o ochronie prywatności ograniczają użycie danych
Wprowadzenie do Pythona w Power BI

Czy brakuje losowo?

Brakuje losowo

Tabela opadów w calach dla trzech miast: Seattle, Nowego Jorku i Paryża.

Wprowadzenie do Pythona w Power BI

Czy brakuje losowo?

Nie brakuje losowo

Tabela opadów w calach dla trzech miast: Seattle, Nowego Jorku i Paryża. Brakuje jednego wiersza dla Seattle.

Wprowadzenie do Pythona w Power BI

Czy brakuje losowo?

Nie brakuje losowo

Tabela opadów w calach dla trzech miast: Seattle, Nowego Jorku i Paryża. Brakuje jednego wiersza dla Seattle.

  • Urządzenie nie wykrywa niskich wartości
  • Pewne grupy osób nie ujawniają informacji
Wprowadzenie do Pythona w Power BI

Jak radzić sobie z brakami danych?

Nie brakuje losowo

  • Wstrzymać analizę
  • Zrozumieć przyczyny braków danych
  • Zebrać więcej danych
  • Udokumentować ograniczenia i założenia

Brakuje losowo

  • Usunąć obserwacje
  • Dodać zmienną wskaźnikową: brak = 1, obecność = 0
  • Imputacja
Wprowadzenie do Pythona w Power BI

Imputacja

Definicja: zastąpienie brakującej wartości inną.

Rodzaje imputacji:

  • Średnia
  • Mediana
  • Moda
  • Wartość poprzednia lub następna

Najlepsze, gdy braki stanowią co najwyżej 5% kolumny.

Pamiętaj, aby posortować wartości!

Wprowadzenie do Pythona w Power BI

Imputacja – przykład

Brakuje losowo

Tabela opadów w calach dla trzech miast: Seattle, Nowego Jorku i Paryża – z brakującymi obserwacjami.

Imputacja medianą

Tabela opadów w calach dla trzech miast: Seattle, Nowego Jorku i Paryża. Brakujące wartości uzupełnione medianą dla danego miasta.

Wprowadzenie do Pythona w Power BI

Zbiór danych

Invoice StockCode Description Quantity InvoiceDate Price Customer ID
506303 PADS PADS TO MATCH ALL CUSHIONS 1 4/29/2010 10:43:00 AM 0.001 14249
496725 M Manual 1 2/3/2010 2:16:00 PM 1.5 13619
502660 M Manual 6 3/25/2010 5:18:00 PM 1.5 13187
509669 90214S LETTER "S" BLING KEY RING 10 12/13/2009 3:54:00 PM 1.25 16725
Wprowadzenie do Pythona w Power BI

Czas na ćwiczenia!

Wprowadzenie do Pythona w Power BI

Preparing Video For Download...