Eksik verilerle başa çıkma
Python ile Machine Learning Mülakat Sorularını Pratik Etme
Lisa Stuart
Data Scientist
Kurs planı
- Bölüm 1: Ön işleme ve Görselleştirme
- Eksik veriler, Aykırı değerler, Normalizasyon
- Bölüm 2: Supervised Learning
- Özellik seçimi, Düzenlileştirme, Özellik mühendisliği
- Bölüm 3: Unsupervised Learning
- Kümeleme algoritması seçimi, Özellik çıkarımı, Boyut indirgeme
- Bölüm 4: Model Seçimi ve Değerlendirme
- Model genelleme ve değerlendirme, Model seçimi
Machine learning (ML) boru hattı
Bizim ML boru hattımız
Eksik veriler
- Farklı tekniklerin etkisi
- Eksik değerleri bulma
- Başa çıkma stratejileri
Teknikler
- Çıkartma
- Satırları kaldırma -->
.dropna(axis=0) - Sütunları kaldırma -->
.dropna(axis=1)
- Satırları kaldırma -->
- Atama (imputation)
- Sıfırla doldur -->
SimpleImputer(strategy='constant', fill_value=0) - Ortalama ile doldur ->
SimpleImputer(strategy='mean') - Medyan ile doldur -->
SimpleImputer(strategy='median') - Mod ile doldur -->
SimpleImputer(strategy='most_frequent') - Yinelemeli atama -->
IterativeImputer()
- Sıfırla doldur -->
Neden uğraşalım?
- Önyargı ekleme olasılığını azaltır
- Çoğu ML algoritması eksiksiz veri ister
Atamanın etkileri
- Şunlara bağlıdır:
- Eksik değerler
- Orijinal varyans
- Aykırı değerlerin varlığı
- Çarpıklığın boyutu ve yönü
- Çıkartma --> Çok fazla veri kaybettirebilir
- Sıfır --> Sonuçları aşağıya doğru önyargılar
- Ortalama --> Aykırı değerlere daha duyarlı
- Medyan --> Aykırı değerlerde daha iyi
- Mod ve yinelemeli atama --> Deneyip gör
| Fonksiyon | döndürür |
|---|---|
df.isna().sum() |
eksik sayısı |
df['feature'].mean() |
özellik ortalaması |
.shape |
satır, sütun boyutları |
df.columns |
sütun adları |
.fillna(0) |
eksikleri 0 ile doldurur |
select_dtypes(include = [np.number] ) |
sayısal sütunlar |
select_dtypes(include = ['object'] ) |
metin sütunları |
.fit_transform(numeric_cols) |
uydurur ve dönüştürür |
Eksik değerlerin etkileri
Machine Learning (ML) bağlamında eksik değerlerin etkileri nelerdir? Doğru olan seçeneği işaretle:
- Eksik değerler sorun değil;
sklearn'ün çoğu algoritması onları işler. - Eksik değerli gözlem ya da özellikleri kaldırmak genelde iyi fikirdir.
- Eksik veriler önyargı katar ve yanıltıcı sonuçlara yol açar; görmezden gelinemez.
- Eksikleri sıfırla doldurmak sonuçları yukarıya önyargılar.
Eksik değerlerin etkisi: yanıt
Machine Learning (ML) bağlamında eksik değerlerin etkileri nelerdir? Doğru yanıt:
- Eksik veriler önyargı katar ve yanıltıcı sonuçlara yol açar; görmezden gelinemez. (Eksikleri, bir veri kümesinin varyansını en az etkileyeni test ederek doldurmak en iyi yaklaşımdır.)
Eksik değerlerin etkileri: yanlış cevaplar
Machine Learning (ML) bağlamında eksik değerlerin etkileri nelerdir?
- Eksik değerler sorun değil... (
sklearn'ün çoğu algoritması eksikleri işleyemez ve hata verir.) - Eksik değerli gözlem ya da özellikleri kaldırmak... (Veri kümen büyük değilse ve eksik oranı düşük değilse, satır/sütun silmek veri kümeni sonrasındaki ML için fazla küçültür.)
- Eksikleri sıfırla doldurmak sonuçları yukarıya önyargılar. (Tersi: sıfırla doldurmak sonuçları aşağıya önyargılar.)
Hadi pratik yapalım!
Python ile Machine Learning Mülakat Sorularını Pratik Etme
