Aykırı değerler ve ölçekleme

Python ile Machine Learning Mülakat Sorularını Pratik Etme

Lisa Stuart

Data Scientist

Aykırı değerler

  • Bir özellikte, diğer gözlemlerden uzak duran bir veya daha fazla gözlem.

Aykırı değerler

1 https://bolt.mph.ufl.edu/6050-6052/unit-1/one-quantitative-variable-introduction/understanding-outliers/
Python ile Machine Learning Mülakat Sorularını Pratik Etme

Çeyrekler arası aralık (IQR)

Veri IQR

1 By Jhguch at en.wikipedia, CC BY-SA 2.5, https://commons.wikimedia.org/w/index.php?curid=14524285
Python ile Machine Learning Mülakat Sorularını Pratik Etme

En iyi uyum doğrusu

Doğrusal model uyumu

1 https://www.r-bloggers.com/outlier-detection-and-treatment-with-r/
Python ile Machine Learning Mülakat Sorularını Pratik Etme

Aykırı değer fonksiyonları

Fonksiyon döndürür
sns.boxplot(x= , y='Loan Status') hedef değişkene koşullu boxplot
sns.distplot() histogram ve çekirdek yoğunluk kestirimi (kde)
np.abs() mutlak değeri döndürür
stats.zscore() z-skorunu hesaplar
mstats.winsorize(limits=[0.05, 0.05]) aykırı değerlere taban/tavan uygular
np.where(condition, true, false) değerleri değiştirir
Python ile Machine Learning Mülakat Sorularını Pratik Etme

Yüksek vs düşük varyans

Varyans

1 https://machinelearningmastery.com/a-gentle-introduction-to-calculating-normal-summary-statistics/
Python ile Machine Learning Mülakat Sorularını Pratik Etme

Standardizasyon vs normalizasyon

  • Standardizasyon:
    • Z-skor standardizasyonu
    • Ortalamayı 0'a, ss'yi 1'e ölçekler

Z-skor standardizasyon formülü

  • Normalizasyon:
    • Min/maks normalizasyonu
    • (0, 1) aralığına ölçekler

Min-maks ölçekleme formülü

1 https://medium.com/@rrfd/standardize-or-normalize-examples-in-python-e3f174b65dfc
Python ile Machine Learning Mülakat Sorularını Pratik Etme

Ölçekleme fonksiyonları

  • scikit-learn.preprocessing.StandardScaler() --> (mean=0, ss=1)
  • sklearn.preprocessing.MinMaxScaler() --> (0,1)
Python ile Machine Learning Mülakat Sorularını Pratik Etme

Aykırı değerler ve ölçekleme

Aykırı değerler nasıl belirlenip doğru şekilde ele alınmalı? Min/maks veya z-skor standardizasyonu veriye ne yapar? Doğru olan ifadeyi seç:

  • Aykırı değer, bir özellikte benzer noktaların aralığının hemen dışındaki bir noktadır.
  • Belirli bir bağlamda, anomali sayılan aykırı değerler öngörücü bir ML modeli kurmada yararlıdır.
  • Min/maks ölçekleme veriye ortalama 0, SS 1 verir ve varyansı artırır.
  • Z-skor standardizasyonu veriyi (0,1) aralığına ölçekler ve model uyumunu iyileştirir.
Python ile Machine Learning Mülakat Sorularını Pratik Etme

Aykırı değerler ve ölçekleme: yanıt

Aykırı değerler nasıl belirlenip doğru şekilde ele alınmalı? Min/maks veya z-skor standardizasyonu veriye ne yapar? Doğru yanıt:

  • Belirli bir bağlamda, anomali sayılan aykırı değerler öngörücü bir ML modeli kurmada yararlıdır. (Dolandırıcılık tespiti, siber güvenlik olayları gibi senaryolarda amaç bunları bulmaktır.)
Python ile Machine Learning Mülakat Sorularını Pratik Etme

Aykırı değerler ve ölçekleme: yanlış yanıtlar

Aykırı değerler nasıl belirlenip doğru şekilde ele alınmalı? Min/maks veya z-skor standardizasyonu veriye ne yapar?

  • Aykırı değer, bir özellikte benzer noktaların aralığının hemen dışındadır. (Bir nokta, IQR'nin 1,5 katından fazla dışarı çıkmadıkça aykırı şüphesi taşımaz.)
  • Min/maks ölçekleme veriye ortalama 0, SS 1 verir ve varyansı artırır. (Min/maks ölçekleme veriyi (0,1) aralığına çeker; varyansın artıp artmaması özgün veriye bağlıdır.)
  • Z-skor standardizasyonu veriyi (0,1) aralığına ölçekler ve model uyumunu iyileştirir. (Z-skor standardizasyonu veriyi ortalama 0 ve ss 1 olacak şekilde ölçekler; bu model uyumunu iyileştirebilir.)
Python ile Machine Learning Mülakat Sorularını Pratik Etme

Son bir şey...

Ön işleme adımları

Python ile Machine Learning Mülakat Sorularını Pratik Etme

Hadi pratik yapalım!

Python ile Machine Learning Mülakat Sorularını Pratik Etme

Preparing Video For Download...