Veri rastgele mi eksik?

Python'da Eksik Verilerle Çalışma

Suraj Donthi

Deep Learning & Computer Vision Consultant

Eksik verinin olası nedenleri

Not $-$ (değişken $\rightarrow$ bir DataFrame’de veri alanı veya sütun)

  • Bir değişkendeki rastgele anlarda veya aralıklarda eksik değerler
  • Başka bir değişken nedeniyle eksik değerler
  • Aynı ya da başka bir değişkenin eksikliği nedeniyle eksik değerler
Python'da Eksik Verilerle Çalışma

Eksiklik türleri

  1. Tamamen Rastgele Eksik (MCAR)
  2. Rastgele Eksik (MAR)
  3. Rastgele Olmayan Eksik (MNAR)
Python'da Eksik Verilerle Çalışma

Tamamen Rastgele Eksik (MCAR)

Tanım:

"Eksiklik, gözlenen veya eksik hiçbir değerle ilişkili değildir"

Tamamen Rastgele Eksik için örnek

Python'da Eksik Verilerle Çalışma

MCAR - Bir örnek

msno.matrix(diabetes)

Diabetes veri seti için Tamamen Rastgele Eksik

Python'da Eksik Verilerle Çalışma

Rastgele Eksik (MAR)

Tanım:

"Eksiklik, diğer gözlenen verilerle sistematik ilişkilidir; eksik verilerle değil"

Rastgele Eksik için örnek

Python'da Eksik Verilerle Çalışma

MAR - Bir örnek

msno.matrix(diabetes)

Diabetes veri seti için Rastgele Eksik (MAR)

Python'da Eksik Verilerle Çalışma

Rastgele Olmayan Eksik (MNAR)

Tanım:

"Eksiklik ile değerlerin (eksik ya da gözlenen) arasında bir ilişki vardır"

Rastgele Olmayan Eksik (MNAR) için örnek

Python'da Eksik Verilerle Çalışma

MNAR - Bir örnek

  • diabetes değişkenlerinin Serum_Insuline göre sıralandığında eksiklik deseni
sorted = diabetes.sort_values('Serum_Insulin')
msno.matrix(sorted)

Diabetes veri seti için Rastgele Olmayan Eksik

Python'da Eksik Verilerle Çalışma

Özet

  • Eksikliğin olası nedenleri
    • Tamamen Rastgele Eksik (MCAR),
    • Rastgele Eksik (MAR) veya
    • Rastgele Olmayan Eksik (MNAR)
  • Değişkenleri sıralayarak eksiklik desenini saptama
  • Eksikliği MCAR, MAR ve MNAR ile eşleme
Python'da Eksik Verilerle Çalışma

Ayo berlatih!

Python'da Eksik Verilerle Çalışma

Preparing Video For Download...