Eksik verilerle neden uğraşmalı?
Python'da Eksik Verilerle Çalışma
Suraj Donthi
Deep Learning & Computer Vision Consultant
Eksik veriler neden var?
- Gerçek dünya verisi dağınıktır
Kuruluşların %72’si, veri kalitesi sorunlarının müşteri güvenini ve algısını zedelediğine inanıyor.
1 [Top 9 Benefits of Data Cleansing for Businesses](https://bit.ly/2QwMrab)
Eksik veriler neden var?
- Veri toplama sırasında değerler kaçırılabilir
- Hava analizi sırasında arızalı sensörler
- Tıbbi tanıda eksik hasta bilgileri vb.
- Değerler kazara silinir
- Veri kaybı
- İnsan hatasıyla yanlışlıkla silme
Bu derste şunları öğreneceksiniz
- eksik değerleri ele almanın önemi
- dağınık verinizde eksik değerleri saptamak
- eksiklik türlerini analiz etmek
- eksik değerleri uygun biçimde ele almak:
- sayısal
- zaman serisi
- kategorik değerler
Bu derste şunları öğreneceksiniz
- basit tekniklerle eksik değerleri imputasyonla (değiştirme) doldurmak
- ileri tekniklerle imputasyon yapmak
- en iyi yöntemini değerlendirip seçmek
Eksik değerleri ele alma iş akışı
- Tüm eksik değerleri null’a dönüştürün.
- Verideki eksikliğin miktarını ve türünü analiz edin.
- Uygun biçimde silin veya imputasyon yapın.
- İşlenmiş/imputasyon uygulanmış veri kümesinin performansını değerlendirin ve karşılaştırın.
NULL değer işlemleri
None
None or True # Same for False
True
None + True # For all operators
TypeError: unsupported operand
None / 3 # For all operators
TypeError: unsupported operand
type(None)
NoneType
np.nan
import numpy as np
np.nan or True # Same for False
nan
np.nan * True # For all operators
nan
np.nan - 3 # For all operators
nan
type(np.nan)
float
NULL değer işlemleri
None
None == None
True
np.isnan(None)
False
np.nan
np.nan == np.nan
False
np.isnan(np.nan)
True
Hadi pratik yapalım!
Python'da Eksik Verilerle Çalışma
