Eşdeğişken kaymasını nasıl tespit ederiz?

Machine Learning İzleme Kavramları

Hakim Elakhrass

Co-founder and CEO of NannyML

Çok değişkenli sürüklenme tespiti

Birleşik dağılımdaki değişikliklere bakar

Veri sıkıştırma için PCA algoritmasını kullanır

Sürüklenmeyi ölçmek için yeniden yapılandırma hatasını kullanır

Görsel, çok değişkenli sürüklenme tespit iş akışını gösteriyor; çok boyutlu veri önce gizil uzaya sıkıştırılıyor, sonra belirli bir yeniden yapılandırmayla özgün biçimine açılıyor.

Grafik, veri yeniden yapılandırma sürüklenme hatasının zamana göre dalgalanmalarını gösteriyor.

Tek değişkenli sürüklenme tespiti

Değişken türleri:

Kategorik - medeni durum, sigara içme durumu, eğitim düzeyi gibi gruplara ayrılabilen veri türleri

Sürekli - boy, kilo, mesafe, zaman gibi bir aralıkta sonsuz gerçek değere sahip değişken

Sürekli yöntemler - Jensen-Shannon

İki dağılımın benzerliğini ölçer
Aralık [0, 1]
Düşük büyüklükte ama anlamlı sürüklenmeleri yakalar

Görsel, Jensen-Shannon uzaklığıyla ölçülen dağılım değişimini gösteriyor.

Sürekli yöntemler - Wasserstein

Bir dağılımı diğerine dönüştürmek için gereken asgari çaba
Aralık [0, +inf]
Aykırı değerlere duyarlıdır

Görsel, Wasserstein uzaklığıyla ölçülen dağılım değişimini gösteriyor.

Sürekli yöntemler - Kolmogorov-Smirnov

Kümülatif dağılım fonksiyonlarının maksimum uzaklığı
Aralık [0, 1]
Yanlış pozitiflere yatkın

Görsel, Kolmogorov-Smirnov uzaklığıyla ölçülen dağılım değişimini gösteriyor.

Sürekli yöntemler - Hellinger

Dağılımlar arasındaki örtüşme
Aralık [0, 1]
Güçlü kaymaları ayırt edemez

Sürekli yöntemler - Öneri

Jensen-Shannon ve Wasserstein genelde iyi performans verir

Görsel, Hellinger uzaklığıyla ölçülen dağılım değişimini gösteriyor.

Kategorik yöntemler - Ki-kare

Düşük frekanslı kategorilerdeki değişimlere duyarlıdır

Görsel, iki kategori (a ve b) olan bir kategorik değişken için ki-kare istatistiğinin görselleştirmesini gösteriyor.

Kategorik yöntemler - L-infinity

Tüm kategoriler arasında en belirgin kaymayı belirler

Görsel, üç kategori (a, b ve c) olan bir kategorik değişken için L-Infinity yönteminin görselleştirmesini gösteriyor.

Kategorik yöntemler - Jensen-Shannon ve Hellinger

Çok sayıda kategori varsa Jensen-Shannon veya L-Infinity
Tekil kategorilerdeki değişimleri saptamak için L-Infinity uzaklığı

Görsel, üç kategori (a, b ve c) olan bir kategorik değişken için Jensen-Shannon ve Hellinger yöntemlerinin görselleştirmesini gösteriyor.

Hadi pratik yapalım!

Machine Learning İzleme Kavramları