Son notlar

R'de Atamaya Dayalı Eksik Veri Doldurma

Michal Oleszak

Machine Learning Engineer

Neleri öğrendiniz

Bölüm 1: Eksik veri sorunu:

  • Eksik verilerle modelleme özel bir yaklaşım gerektirir.
  • 3 eksik veri mekanizması: MCAR, MAR ve MNAR.
  • Görselleştirmeler ve istatistiksel testler, eksik veri örüntülerine içgörü sağlar.

Bölüm 2: Bağışçı tabanlı atama:

  • Ortalama ile atama genellikle kötü bir seçimdir.
  • Hot-deck atama.
  • k-En Yakın Komşu (kNN) ile atama.
R'de Atamaya Dayalı Eksik Veri Doldurma

Neleri öğrendiniz

Bölüm 3: Model tabanlı atama

  • Değişkenler üzerinde döngü kurup yakınsayana kadar atama yapmak.
  • Koşullu dağılımlardan çekerek veri değişkenliğini çoğaltmak.
  • Rastgele ormanlarla ağaç tabanlı atama.

Bölüm 4: Atamadan kaynaklı belirsizlik

  • Örneklemeyle (bootstrapping) çoklu atama.
  • MICE ile çoklu atama.
R'de Atamaya Dayalı Eksik Veri Doldurma

Hangi atama yöntemini seçmeli?

Bazı gevşek yönergeler:

  • Veri çok büyük mü veya üretimde gerçek zamanlı mı çalışmalı?

    Hot-deck atama kullanın.

  • Alan bilgisine dayalı belirli değişken ilişkilerinden şüpheleniyor musunuz?

    Model tabanlı atama kullanın.

  • Çok hızlı olması gerekmiyor ve değişken ilişkileri belirgin değil mi?

    kNN veya ağaç tabanlı atama kullanın.

R'de Atamaya Dayalı Eksik Veri Doldurma

Atamadan doğan belirsizlik nasıl tahmin edilir?

Bazı gevşek yönergeler:

  • Nispeten hızlı mı olmalı?
  • Hangi modelleri kullanıp nasıl belirteceğinize dair fikirleriniz var mı?

MICE kullanın.

  • Parametrik olmayan bir yöntem mi istiyorsunuz (kNN, hot-deck)?
  • Belirli modellerin varsayımlarıyla uğraşmak istemiyor musunuz?

Bootstrapping kullanın.

R'de Atamaya Dayalı Eksik Veri Doldurma

Sıradaki adımlar

  • miceVignettes:

    • Pasif atama ve son işlem
    • Çok düzeyli verilerin atanması
    • Duyarlılık analizi

  • S. van Buuren (2018). Flexible Imputation of Missing Data. Second Edition. CRC/Chapman & Hall, FL: Boca Raton.

  • Diğer R paketleri: Amelia, mi

Stef van Buuren’un “Flexible Imputation of Missing Data” adlı kitabının kapağı.

R'de Atamaya Dayalı Eksik Veri Doldurma

Tebrikler ve bol şans!

R'de Atamaya Dayalı Eksik Veri Doldurma

Preparing Video For Download...