Czy dane brakują losowo?

Braki danych w Pythonie

Suraj Donthi

Deep Learning & Computer Vision Consultant

Możliwe przyczyny braków danych

Uwaga $-$ (zmienna $\rightarrow$ pole danych lub kolumna w DataFrame)

  • Wartości brakują losowo w określonych instancjach lub przedziałach zmiennej
  • Wartości brakują z powodu innej zmiennej
  • Wartości brakują z powodu braków tej samej lub innej zmiennej
Braki danych w Pythonie

Rodzaje braków danych

  1. Brakujące całkowicie losowo (MCAR)
  2. Brakujące losowo (MAR)
  3. Brakujące nie losowo (MNAR)
Braki danych w Pythonie

Brakujące całkowicie losowo (MCAR)

Definicja:

„Brak danych nie ma żadnego związku z wartościami – obecnymi ani brakującymi"

Przykład dla MCAR

Braki danych w Pythonie

MCAR – przykład

msno.matrix(diabetes)

Brakujące całkowicie losowo w zbiorze diabetes

Braki danych w Pythonie

Brakujące losowo (MAR)

Definicja:

„Istnieje systematyczna zależność między brakiem danych a innymi obserwowanymi danymi, ale nie danymi brakującymi"

Przykład dla MAR

Braki danych w Pythonie

MAR – przykład

msno.matrix(diabetes)

Brakujące losowo w zbiorze diabetes

Braki danych w Pythonie

Brakujące nie losowo (MNAR)

Definicja:

„Istnieje zależność między brakiem danych a ich wartościami – brakującymi lub obecnymi"

Przykład dla MNAR

Braki danych w Pythonie

MNAR – przykład

  • Wzorzec braków w zbiorze diabetes posortowanym według Serum_Insulin
sorted = diabetes.sort_values('Serum_Insulin')
msno.matrix(sorted)

Brakujące nie losowo w zbiorze diabetes

Braki danych w Pythonie

Podsumowanie

  • Możliwe przyczyny braków danych
    • Brakujące całkowicie losowo (MCAR),
    • Brakujące losowo (MAR) lub
    • Brakujące nie losowo (MNAR)
  • Wykrywanie wzorców braków przez sortowanie zmiennych
  • Przypisywanie wzorców braków do MCAR, MAR i MNAR
Braki danych w Pythonie

Czas na ćwiczenia!

Braki danych w Pythonie

Preparing Video For Download...