Aykırı değerlerle nasıl başa çıkılır

Python ile Anomali Tespiti

Bekhruz (Bex) Tuychiev

Kaggle Master, Data Science Content Creator

Anomali tespitinin kullanım alanları

  • Tıp
  • Siber güvenlik
  • Dolandırıcılık tespiti

İki analiz yapın: aykırılarla ve aykırısız.

Python ile Anomali Tespiti

Aykırı değerlerin nedenleri

  • Veri giriş hataları:
    • Yazım hataları
    • Ölçüm hataları
    • İnsan hataları
    • Düzeltilmezse çıkarın
  • Örnekleme hataları:
    • Hedef dağılımdan değil
    • Çıkarın
  • Doğal:
    • Doğal olarak sıra dışı ama popülasyondan gelir
    • Çıkarmayın
Python ile Anomali Tespiti

Büyüklüğe göre çıkarma

  • Çok az: doğrulayın ve çıkarın
  • Çok fazla: şüphe uyandırır - farklı modeller kullanın:
    • GLM'ler
    • Kantil regresyon
    • GEE'ler
  • Küme oluşturuyor: daha derin analiz yapın
Python ile Anomali Tespiti

Kırpma

# Calculate the percentiles
percentile_first = google['Volume'].quantile(0.01)
percentile_99th = google['Volume'].quantile(0.99)


# Trim
google['Volume'] = google['Volume'].clip(percentile_first, percentile_99th)
Python ile Anomali Tespiti

Değiştirme

google.replace(0, 100, inplace=True)
Python ile Anomali Tespiti

Hadi pratik yapalım!

Python ile Anomali Tespiti

Preparing Video For Download...